JP5269598B2 - 画像処理のためのシステム及び方法 - Google Patents

画像処理のためのシステム及び方法 Download PDF

Info

Publication number
JP5269598B2
JP5269598B2 JP2008532413A JP2008532413A JP5269598B2 JP 5269598 B2 JP5269598 B2 JP 5269598B2 JP 2008532413 A JP2008532413 A JP 2008532413A JP 2008532413 A JP2008532413 A JP 2008532413A JP 5269598 B2 JP5269598 B2 JP 5269598B2
Authority
JP
Japan
Prior art keywords
image
document
map
communication device
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008532413A
Other languages
English (en)
Other versions
JP2009509478A (ja
Inventor
マイケル・エフ・ルーク
Original Assignee
グーグル・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=37900302&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5269598(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by グーグル・インコーポレーテッド filed Critical グーグル・インコーポレーテッド
Publication of JP2009509478A publication Critical patent/JP2009509478A/ja
Application granted granted Critical
Publication of JP5269598B2 publication Critical patent/JP5269598B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577Optimising the visualization of content, e.g. distillation of HTML documents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Telephonic Communication Services (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Facsimiles In General (AREA)

Description

本出願は、表示のための画像処理に関する。
コンピュータやコンピュータネットワークがアクセス可能なグラフィカル情報が多様化するにつれて、人々は、その情報を得る方法の多様化を求めている。具体的には、人々は、適切に備えられたネットワークに繋がった常設パソコンからのみ以前は利用できた情報に、今や路上や家庭で又は職場でアクセスすることを期待している。人々は、自分の携帯電話から時の人の画像や、自分の携帯情報端末(PDA)から家族の写真付き電子メールや、自分のパームトップ・コンピュータから写真が埋め込まれた最新ドキュメントをほしいと望んでいる。また、人々は、地元や国内又は海外にかかわらず移動している際、使用法が簡単な携帯装置でこの情報の全てをほしいと望んでいる。
一般的に、携帯可能であるためには、装置が小さい必要があり、このため、コンテンツを表示するために利用可能な画面の面積が制限される。この制限により、携帯装置は、小さい画面に表示された際判読し難い又は識別できない状態にまで、画像を小さくしなければならないことがある。他の選択肢として、画像は、より大きな大きさに表示し得るが、ユーザは、画像のある部分を見るにはスクロールしなければならない。
更に、画像の中には、ウェッブページへのナビゲート等、ユーザが行動を起こすように選択し得る“ホットスポット”又はリンクとして画像の一部分を定義した画像マップに関係付け得る画像がある。最近の携帯装置の中には、画像の定義された部分とのリンクを維持しない装置もある。その代わり、これらの装置は、画像からリンクを分離し、それらを画像外にテキストリンクとしてリスト化する。しかしながら、これらの分離されたリンクは、リンクを選択する際ユーザをガイドするために画像によって提供された文脈にもはや関連付けられていない。グラフィカル文脈からリンクを分離すると、ユーザは、リンクのコンテンツに関して混乱することがある。
本明細書は、画像を処理して無線装置に表示するための方法及びシステムを開示する。
一態様に基づき、画像を処理して移動通信装置に表示するためのコンピュータ実装された方法を開示する。本方法には、画像の一部分に関係する画像マップに基づき、この部分画像を抽出する段階と、抽出された部分画像を含むドキュメントを生成する段階と、生成されたドキュメントを遠隔装置に送信して表示する段階と、が含まれる。更に、選択可能なリンクを抽出された部分画像に割り当て得る。
一実施例において、本方法には、遠隔装置から画像及び画像マップを有する初期ドキュメントに対する要求を受信する段階と、生成されたドキュメントをデータベースに記憶する段階と、が含まれる。生成され記憶されたドキュメントは、初期ドキュメントに対する今後の要求に応じて送信し得る。この要求には、更に、遠隔装置の表示能力に関連する情報を含み得る。本方法には、表示能力に基づき、抽出された部分画像の大きさを修正する段階を含み得る。更に、本方法には、表示能力に基づき、抽出された部分画像をトリミングする段階を含み得る。他の実施例において、本方法には、更に、遠隔ウェッブサーバから初期ドキュメントを検索する段階を含み得る。画像マップは、初期ドキュメントにおける要素をドキュメント・オブジェクト・モデル・ツリーにまとめることによって、そして、ツリーを詳細に調べて画像マップを特定することによって、画像マップを選択し得る。画像マップは、また、初期ドキュメントにおける要素を順次解析して、画像マップを特定することによって選択し得る。画像マップのコンテンツは、顔認識アルゴリズムを用いて生成し得るが、この場合、コンテンツには、部分画像を指定して抽出するために用いられる座標が含まれる。また、画像マップのコンテンツは、光学的文字認識アルゴリズムを用いて生成し得るが、この場合、コンテンツには、部分画像を指定して抽出するために用いられる座標が含まれる。
一例として、画像マップには、抽出された部分画像を移動装置ブラウザ上での表示用の大きさに変更することを指定するために用いられるマークアップ言語タグが含まれる。また、抽出された部分に隣接する領域は、領域と部分の組合せが所定の大きさ又は形状になるように抽出し得る。また、画像データは、生成された画像データと抽出された部分との組合せが所定の大きさ又は形状であるように、抽出された部分に隣接する領域に表示するために生成し得る。
更に他の実施例において、画像の第2部位は、画像マップに基づき抽出し得る。また、第2部位は、生成されたドキュメントに含んで遠隔装置に表示し得る。上記部分が表示される位置は、画像マップに基づくものであり、この場合、画像マップには、更に、位置標識を含む。また、部分が表示される位置は、画像のコンテンツに基づくものである。第2部位及び第1部位は、同じ大きさ及び形状であってよい。
他の態様に基づき、画像の一部分を選択して移動通信装置に表示するためのコンピュータ実装されたシステムを開示する。本システムには、第1電子ドキュメントから画像及び画像マップを選択するパーサと、画像の一部分を抽出するための手段であって、上記部分の位置及び周囲の長さが画像マップに基づく手段と、抽出された部分画像を含む第2電子ドキュメントを生成するドキュメント発生器と、第2電子ドキュメントを遠隔装置に送信するインターフェイスと、が含まれる。
更に他の態様に基づき、画像の一部分を抽出して移動通信装置に表示するためのシステムを開示する。本システムには、画像に関連する座標に基づき、画像をセグメントに分割する抽出器と、電子ドキュメントに表示するためにセグメントの内の少なくとも1つを符号化するドキュメント生成器と、電子ドキュメントを遠隔装置に送信するインターフェイスと、が含まれる。
ここに述べたシステム及び手法は、以下の1つ又は複数の利点を提供し得る。システムは、ユーザが携帯装置上で画像をより便利に閲覧できるように、画像から一部を選択し抽出し得る。システムは、画像の対象部分を抽出して表示し得る。また、システムは、遠隔装置が、画像マップ内において用いられるリンク用のグラフィカル文脈を維持できるようにし得る。このグラフィカル文脈の維持は、遠隔装置が画像マップを表示するアルゴリズムを有しない場合であっても、可能であり得る。更に、システムは、メモリ及び処理能力等の限定された資源を有する携帯電話等の携帯システムで実現し得る。
1つ又は複数の実施例の詳細について添付図面及び下記説明に記載する。実施例の他の特徴、目的及び利点は、説明及び図面並びに請求項から明らかになるであろう。
次に、これらの及び他の態様について、添付の図面を参照して詳細に述べる。
様々な図面における同様な参照符号は、同様な要素を示す。
図1は、一実施例に基づく無線通信装置104に表示される画像102を処理するためのシステム100の概略図である。本処理には、抽出される画像102の部分106Aを指定する画像マップ(図示せず)に基づき、画像102の部分106Aを抽出する段階が含まれる。本処理には、更に、部分106Aを含むドキュメントを生成する段階と、生成されたドキュメントを矢印108によって表されるように遠隔無線通信装置104に送信する段階と、が含まれる。
画像102は、ワード処理ドキュメント、スタンドアローンの画像ファイル、電子メールメッセージ、又はウェッブページ等のフォーマットを有する初期ドキュメントに含み得る。一実施例において、初期ドキュメントは、関連する画像マップ付きの画像を含む。画像マップには、操作が関連付けられた画像内の1つ又は複数の領域を指定する矩形の対向角部の座標等の情報を含み得る。例えば、図1の部分画像106Aは、米国の北東部を示す。ユーザは、この部分画像106Aを選択し、そして、ブラウザは、北東部の観光案内について記載するウェッブサイトに向かわせてよい。
幾つかの実施例では、ドキュメントの処理は、画像102を有する初期ドキュメントに対する矢印110によって表される遠隔無線通信装置104からの要求によって起動される。画像処理システム112が、この要求を受信する。画像処理システム112のトランスコーダ114が、画像102を処理し、画像処理システム112は、部分画像106Aを含む生成されたドキュメントを無線通信装置104に送信する。
他の実施例では、画像処理システム112は、無線通信装置104からの要求が無くても、生成されたドキュメントを無線通信装置104に送る。例えば、電子メールメッセージの画像は、画像処理システム112によって処理され、無線通信装置104によって要求されることなく、無線通信装置104に送信し得る。
幾つかの実施例では、画像処理システム112は、矢印118によって表されるように、遠隔ウェッブサーバ116から初期ドキュメントを取り込む。例えば、無線通信装置104のユーザは、ウェッブ検索で取り込まれたウェッブページリンクのリストを閲覧し得る。このリストには、http://www.remotewebserver.com/initial_document.html等の遠隔ウェッブサーバ116におけるウェッブページを指定するウェッブページリンクを含み得る。
画像処理システム112は、ユーザが上記ウェッブリンクを選択する際アクセスされる実際のユニフォーム・リソース・ロケータ(URL)を修正して、リンクが以下のURLの場合のように、最初に画像処理システム112に向けられるようにしてよい。
http://www.google.com/?u==www.remotewebserver.com/initial_document.html
ここで、“www.google.com”は、画像処理システム112のネットワークアドレスである。URLの“?u=www.remotewebserver.com/initial_document.html”パラメータは、矢印120によって表されるように、“www.remotewebserver.com/initial_document.html”に在る初期ドキュメントを遠隔ウェッブサーバ116から要求するように画像処理システム112に指示する。画像処理システム112は、初期ドキュメントを処理し、生成されたドキュメントを無線通信装置104に送信する。
図2は、一実施例に基づく図1のシステムによる処理前後の画像102の概略図である。例えば、初期ドキュメント202は、米国(US)の異なる地域に観光客の目的地を記載するウェッブページであってよい。図2は、処理前の初期ドキュメント202及び処理後の生成されたドキュメント204の例を示す。初期ドキュメント202の画像102には、幾つかの地域206A−Eを含む画像マップが含まれる。地域206A−Eは、他のウェッブページへのハイパーリンク、電子メールアドレスへのハイパーリンク、又はファイル転送プロトコル(FTP)サイトへのハイパーリンク等の操作がそれらに関連付けられた画像102の領域を示す。
例えば、北東部地域206Aを選択すると、ユーザは、米国の北東部の州に観光客の目的地を列記した他のウェッブページに案内される。あるいは、その選択によって、“宛先”フィールドが米国北東部観光協会の会員に宛てられた電子メールメッセージを起動してよい。他の選択肢として、地域206A−Eは、画像102における特定の関心の領域を表し得る。例えば、人物の画像には、その人物の顔が定義領域としてあってよい。更に、あるグループの人々の画像には、その画像が特定の人物を記述する文章を伴う場合、その人物の周辺における定義領域があってよい。生成されたドキュメント204には、初期ドキュメント202の地域206Aに対応する部分画像106Aが含まれる。図2の実施例では、生成されたドキュメント204には、画像102の他の地域206B−Eに対応する他の部分画像106B−Eも含まれる。
図2に示す実施例では、画像処理システム112のトランスコーダ114は、画像マップにおける地域206A−Eを用いて、画像102から部分画像106A−Eを抽出し得る。特に、各部分画像106A−Eは、それぞれ画像マップの各地域206A−Eに対応する。
図3は、図1のシステム100の更に詳細を示すブロック図である。図3は、画像処理システム112及びそれと通信状態にある装置を示す。画像処理システム112は、例えば、インターネット検索プロバイダの一般的なシステムの一部分として実現し得る。
画像処理システム112には、インターネット等のネットワーク358と通信を行わせるインターフェイス352が設けられている。画像処理システム112は、無線通信装置104及び遠隔ウェッブサーバ116等の様々な装置と通信を行い得る。任意の装置用の通信フローは、双方向であり、これにより、画像処理システム112は、装置から命令等の情報を受信し、また、情報を装置に送り得る。
装置から受信された命令及び要求は、要求プロセッサ366に提供され、要求プロセッサ366は、要求を解釈し、それを所定の許容可能な要求と関連付け、そして、特定の操作を実施するために、それを画像処理システム112の他の構成要素に命令の形態等で渡し得る。例えば、画像処理システム112が、インターネット検索プロバイダの一般的なシステムの一部分である場合の実施例では、この要求には、検索要求を含み得る。要求プロセッサ366によって、検索エンジン370は、検索要求に対応する検索結果を生成し得る。検索エンジン370は、グーグルページランク(TM)システムによって用いられるものと同様なデータ取り込み及び検索手法を用い得る。そして、検索エンジン370によって生成された結果は、結果に対して必要なフォーマット化を実行する応答フォーマッタ368を用いて、元の要求者に戻される。
検索エンジン370は、多数の他の構成要素に依拠して、その動作を適切に行い得る。例えば、検索エンジン370は、検索がより効率的になるように、要求がなされる度にウェッブサイト自体を検索する代わりに、ウェッブサイトのインデックス372を参照し得る。インデックス372には、ウェッブクローラ376によって収集されフォーマット化された情報を用いて値を代入し得るが、ウェッブクローラ376は、潜在的な情報源を連続的に走査して情報を変更し得る。
トランスコーダ114は、システム記憶装置374にアクセスし得る。システム記憶装置374は、アプリケーション、保守ルーチン、及び管理及び報告ソフトウェア等、システムを動作させるのに必要なファイル用の1つ又は複数の記憶場所であってよい。幾つかの実施例では、トランスコーダ114は、生成されたドキュメント204をシステム記憶装置374に記憶し得る。画像処理システム112は、生成され記憶されたドキュメント204を初期ドキュメント202に対する今後の要求に応じて送信し得る
トランスコーダ114には、初期ドキュメント202及び画像102を処理するために用いられる幾つかの構成要素を含み得る。パーサ302は、初期ドキュメント202から画像102と、画像102に関連する画像マップ304とを選択し得る。パーサ302は、アプリケーション・プログラミング・インターフェイス(API)を用いて初期ドキュメント202のコンテンツにアクセスして、初期ドキュメント202全体を復号し得る。例えば、初期ドキュメント202がウェッブページである場合、パーサ302は、ドキュメント・オブジェクト・モデル(DOM)APIを用いて、ウェッブページの要素又はドキュメントオブジェクトにアクセスし得る。DOM_APIを用いて、パーサ302は、アレイ、待ち行列、又はツリー等の様々なデータ構造を用いて、初期ドキュメント202からメモリにドキュメントオブジェクトをロードし得る。DOMによって、ドキュメントオブジェクトには、ランダムに又は初期ドキュメント202において指定される順番とは異なる順番でアクセスし得る。他の選択肢として、パーサ302は、一連の文字又は文字列として初期ドキュメント202を入力し得る。文字又は文字列は、画像及びその関連画像マップの存在を指定する一組の所定の識別子と順次比較し得る。
画像マップ304は、画像マップ304を定義する1つ又は複数のマークアップ言語タグ305を含み得る。例えば、ハイパーテキスト・マークアップ言語(HTML)は、画像にタグ“<img>”を用い、画像マップに“<map>”を用いる。<map>タグは、それぞれ、“coords”属性及び“href”属性を用いて、画像102における各地域206A−Eの座標及びハイパーリンクを指定する<area>タグを含み得る。また、<area>タグは、矩形、円、又は多角形等、画像102の領域の形状を指定する“shape”属性を含み得る。画像が、関連する画像マップを有する場合、<img>タグには、“usemap”属性を含み得る。DOM等でドキュメントコンテンツをランダムに解析する場合、“usemap”属性は、画像に関連する画像マップを特定するために用い得る。“usemap”属性は、画像マップ304の名前の前に付けることができ、これは、図5に示すDOMツリー500等のデータ構造内において、画像マップ304を特定しそれにアクセスために用い得る。
トランスコーダ114には、更に、画像マップ304に含まれる座標を用いて、画像102から部分画像106Aを抽出する抽出器306を含み得る。座標は、抽出される部分画像106Aの位置及び周囲の長さを示し得る。座標は、上述したようなHTMLタグ内における属性等のマークアップ言語の構成要素であってよい。
幾つかの実施例では、マップコンテンツ生成器310は、抽出器306に部分画像の座標312を提供し得る。マップコンテンツ生成器310は、画像又は部分画像内において、それぞれ顔及びテキストの座標を決定する顔認識(FR)モジュール314及び光学的文字認識(OCR)モジュール316を含み得る。マップコンテンツ生成器310は、高コントラストの領域(例えば、暗い建物対色の薄い空)を認識して、画像内においてオブジェクトを特定するモジュール等の他のモジュールを含み得る。座標312は、また、画像マップ304に配置された座標を補足又は修正し得る。例えば、FRモジュール314は、画像マップによって定義された部分画像に配置された顔の座標を決定し得る。他の選択肢として、マップコンテンツ生成器310は、初期ドキュメント202に含まれる関連する画像マップを有しない画像を座標312に提供し得る。例えば、OCRモジュール316は、画像マップを有しない画像に配置されたテキストの座標を決定し、画像用の画像マップを生成し、座標312で画像マップに値を代入し得る。
トランスコーダ114は、生成されたドキュメント204に部分106A−Eを組み込む前に、抽出された部分106A−Eに対して更に修正を行い得る。例えば、無線通信装置104からの要求110には、表示装置の大きさ及び解像度等、無線通信装置104における表示装置の物理的な能力に関する表示能力情報318が含まれる。
トランスコーダ112は、表示能力情報318を用いて、部分画像106Aが、例えば、大き過ぎるか又は詳細過ぎるため、無線通信装置104が効果的にユーザに表示できないと判断し得る。この状況では、マップコンテンツ生成器310は、FRモジュール314及びOCRモジュール316等のモジュールを用いて、顔又はテキスト等の部分画像106Aにおける適切な情報に焦点をあて得る。マップコンテンツ生成器310の出力には、抽出された部分を如何にして処理するかを定めるために抽出器306によって用いられる座標312を含み得る。例えば、座標312は、トリミングされるべき部分画像106Aの領域を定め得る。トリミングする段階には、それが顔又はテキストの中心に置かれるように画像をずらす段階と、結果的に生じるトリミングされた画像がより小さい大きさで表示されるように周辺の画像データを除去する段階と、を含み得る。座標312には、x及びy軸に沿う点を含み得るが、この場合、点は、トリミングされた画像の境界を定める。
他の実施例において、表示能力情報318は、マップコンテンツ生成器310によって生成された座標312を決定するために用い得る。例えば、画像102は、無線通信装置104が表示するには大き過ぎる又は詳細過ぎると表示能力情報318が示す場合、FRモジュール314及びOCRモジュール316は、上述したように、画像102において適切な情報の範囲を定める座標312を生成し得る。
他の実施例において、座標312は、抽出器306によって用いられ、画像102又は部分画像106Aを拡大又は収縮させることによって、画像102又は部分画像106Aの大きさを修正し得る。例えば、FRモジュール314又はOCRモジュール316は、それぞれ、顔又はテキストを画像102に配置し、これらの特徴周辺の領域を定める座標を生成し得る。マップコンテンツ生成器310は、無線通信装置104に画像102を表示するための大きさを決定するために表示能力情報318を用いて拡大又は収縮率を生成し得る。例えば、収縮された画像の各画素は、次式等のように、線形的に対応する画素の加重和であってよい。即ち、
=Px3/5+Px2/5
加重値は、収縮率に関連付け得る。例えば、収縮率は、インデックスで加重値を調べるために用い得る。あるいは、収縮処理のための適切な最終加重値を生成するために、一組の加重値用の乗数として用い得る。
例えば、表示能力情報318は、無線通信装置104によって用いられる表示装置の480画素×600画素等の解像度を含み得る。マップコンテンツ生成器310は、480画素×600より大きい画像を、それが無線通信装置104に表示される解像度内に適合するように、小さくする収縮率を提供し得る。
マップコンテンツ生成器310からの座標312出力には、x及びy軸に沿う点及び拡大又は収縮率を含み得る。抽出器306は、如何にして画像102又は部分画像106Aを処理するか決定するために座標312を用い得る。例えば、座標312に収縮率が含まれる場合、抽出器306は、画像102又は部分画像106Aの画素を選択的に除去し得る。
幾つかの実施例では、マップコンテンツ生成器310は、抽出された部分が所定の大きさ及び形状であることを保証する。例えば、マップコンテンツ生成器310は、部分画像106Aが矩形であるように、円形の部分画像に隣接する画像データが抽出されることを保証し得る。他の実施例では、画像データ生成器320は、部分画像に隣接する領域に画像データを生成して、部分画像が所定の大きさ及び形状であることを保証する。例えば、画像データ生成器320は、円形の部分画像の背後に黒い矩形背景を追加して、部分画像106Aが矩形であることを保証し得る。更に、画像データ生成器320は、部分画像106Aの色値を決定し、部分画像106Aの背後の背景に対して対照的な又は補い合う画像データを生成し得る。
トランスコーダ114には、更に、ドキュメント生成器322を含み得る。一実施例において、ドキュメント生成器322は、抽出器306によって提供された部分画像106A及び初期ドキュメント202からのコンテンツを用いて、生成ドキュメント204を作成する。例えば、画像102内における地域206Aは、他のウェッブページへのハイパーリンクを指定する関連するHTML属性を有し得る。ドキュメント生成器322は、初期ドキュメント202の地域206Aに関連するハイパーリンクに対応する生成されたドキュメント204の部分画像106Aに選択可能なリンク324を追加し得る。ハイパーリンクが他のウェッブページへのリンクである場合、生成されたドキュメント204内における選択可能なリンク324は、画像処理システム112のネットワークアドレスを含み得る。上述した検索リストと同様に、ハイパーリンクは、最初に、ウェッブページ要求を画像処理システム112に宛てるが、この場合、画像処理システム112は、ウェッブページを検索し、ウェッブページを処理した後、それを無線通信装置104に転送する。例えば、初期ドキュメント202は、第2遠隔ウェッブサーバ326における他のドキュメントへの以下のハイパーリンクを含み得る。即ち、
http://www.secondwebserver.com/another_document.html
ドキュメント生成器322は、ハイパーリンクを、それが、最初に、以下のURL等における画像処理システム112に宛てられるように修正する。即ち、
http://www.google.con/?u=www.secondwebserver.com/another_document.html
図4は、無線通信装置104に表示される画像を処理する際実施し得る代表的な動作400のフローチャートである。例えば、動作400は、画像処理システム112において実施し得る。コンピュータ・プログラム・プロダクトに記憶されたプロセッサ実行命令は、動作400を実施し得る。動作400は、遠隔装置からの初期ドキュメントの要求によりオプションのステップ402で開始し得る。例えば、無線通信装置104のユーザは、画像処理システム112に初期ドキュメント202に対する要求110を送り得る。
オプションのステップ404において、画像処理システム112は、初期ドキュメントに対する要求を受信する。オプションのステップ406において、初期ドキュメントに対応する生成されたドキュメントが既に存在する場合、動作400は、ステップ426に移る。生成されたドキュメントがまだ存在しない場合、動作400は、オプションのステップ408に移る。例えば、画像処理システム112は、生成されたドキュメントの索引付けされたリストを用いて、生成されたドキュメントが存在するかどうか迅速に判断し得る。幾つかの実施例では、無線通信装置の可能な表示能力に対応する各初期ドキュメントに対する多数の生成されたドキュメントを記憶し得る。例えば、表示能力情報318は、無線通信装置104が、128×128画素の表示解像度を備えた携帯電話であることを示し得る。この情報318は、ドキュメントが生成される際、ドキュメント識別子と共に記憶し得る。後続の要求は、ドキュメント識別子及び表示能力情報と比較して、新しいドキュメントを生成すべきかどうか判断し得る。上述した事例において、128×128画素の表示解像度の異なる又は同じ装置が、同じ初期ドキュメントを要求する場合、インデックスが照会され、初期ドキュメントがこの画素解像度に関連するバージョンを有するかどうか判断し得る。そうであれば、新しいドキュメントを生成することなく、このドキュメントを返すことができる。
オプションのステップ408において、遠隔ウェッブサーバから初期ドキュメントを要求し得る。オプションのステップ410において、遠隔ウェッブサーバは、要求を受信し、そして、オプションのステップ412において、遠隔ウェッブサーバは、初期ドキュメントを含む要求に対する応答を送る。例えば、画像処理システム112は、CNN(TM)ウェッブページを主催する遠隔ウェッブサーバ116からwww.cnn.com等のウェッブページを要求する。CNN(TM)ウェッブサーバ116は、www.cnn.comのウェッブページが含まれる応答を画像処理システム112に送る。
ステップ414において、初期ドキュメントに含まれる1つ又は複数の部分画像が、初期ドキュメントに含み得る画像マップに基づき抽出される。例えば、トランスコーダ114内のパーサ302は、初期ドキュメント202に含まれる画像102及び画像マップ304を識別する。抽出器306は、画像マップ304を用いて、部分画像106Aを抽出する。他の選択肢として、画像マップ304は、初期ドキュメント102に含まれないことがある。その代わり、マップコンテンツ生成器310が、部分画像106Aを抽出するために抽出器306によって用いられる画像マップを生成し得る。
オプションのステップ416において、選択可能なリンクが、部分画像に割り当てられる。例えば、トランスコーダ114は、例えば、部分画像106Aに関連する<img>タグの周辺に置かれたアンカー<a>タグの“href”属性にハイパーリンクを割り当てることによって、選択可能なリンク324を部分画像106Aに割り当て得る。
オプションのステップ418及び420において、画像マップのコンテンツは、それぞれ顔認識アルゴリズム及び光学的文字認識アルゴリズムを用いて生成し得る。例えば、FRモジュール314又はOCRモジュール316又は双方は、それぞれ、顔又はテキストに焦点を合わせる部分画像の抽出器306に座標312を提供し得る。ステップ414乃至420は、異なる順番で行い得る。例えば、顔認識及び光学的文字認識は、部分画像が抽出される前に行い得る。
ステップ422において、部分画像を含むドキュメントが、遠隔装置のために生成される。例えば、ドキュメント生成器322は、抽出された部分画像106A及び初期ドキュメント202を用いて生成ドキュメント204を生成する。
オプションのステップ424において、生成されたドキュメントは、初期ドキュメントに対する後続の要求に応じてアクセスし得るデータベースに記憶される。例えば、トランスコーダ114は、生成されたドキュメント204をシステム記憶装置374に記憶し得る。幾つかの実施例では、トランスコーダ114は、生成されたドキュメント204と共に、生成されたドキュメント204の画像を修正するために用いられる表示能力情報318を記憶し得る。
ステップ426において、生成されたドキュメントは、遠隔装置に送信される。例えば、画像処理システム112のインターフェイス352は、生成されたドキュメント204をネットワーク358を介して無線通信装置104に送信する。動作400は、ステップ428で終了し得るが、この場合、生成されたドキュメントは、遠隔装置に表示される。
図5は、画像を含むウェッブページの代表的なドキュメント・オブジェクト・モデル(DOM)ツリー500である。図5は、初期ドキュメント202用の代表的なDOMツリー500を示す。一実施例において、初期ドキュメント202は、ハイパーテキスト・マークアップ言語(HTML)フォーマットである。初期ドキュメント202の各HTMLタグは、ツリー500のノードによって表し得る。幾つかの実施例では、パーサ302は、初期ドキュメント202を解析してDOMツリー500にし、そして、ツリー500を詳細に調べて、画像、画像マップ、又は双方を特定する。
図5の例において、DOMツリー500は、初期ドキュメント202において、それぞれ<html>タグ、<head>タグ、及び<body>タグを表す<html>ノード510、<head>ノード522、及び<body>ノード524を含む。<body>ノード524は、子<map>ノード532を有する。<map>ノード532及びその子は、部分画像を抽出するために用いられる地域206A−Eの座標を指定し得る。<body>ノード524は、また、子<img>ノード534を有する。<img>ノード534は、画像102用のプレースホルダである。<img>ノード534の“src”属性536は、画像102の位置及び名前を示す。<img>ノード534の“usemap”属性538は、画像102に関連する<map>ノード532の名前又はidを示す。<map>ノード532は、幾つかの子<area>ノード542A−Cを有し得る。各<area>ノード542A−Cは、それに関連する部分画像の座標を指定する“coords”属性544と、部分画像が選択される際に実行されるハイパーリンクを指定する“href”属性546と、を有し得る。
図6は、一実施例に基づく無線通信装置104に表示するために処理されるHTMLコードを示す概略図である。図6は、画像処理システム112のトランスコーダ114による処理前の初期ドキュメント202におけるHTMLコードと、トランスコーダ114による処理後の生成されたドキュメント204におけるHTMLコードと、を示す。初期ドキュメント202は、それぞれ地域206A−Eの座標及び地域206A−Eに関連するハイパーリンクを指定する子<area>タグ604A−Eを有する<map>タグ602を含み得る。また、初期ドキュメント202には、画像102用のプレースホルダであり、名前“us_region.gif”を有する<img>タグ606と、名前“us_region_map”を有する関連する<map>タグ602と、が含まれる。
幾つかの実施例では、初期ドキュメント202は、例えば、図5のDOMツリー500でのように、解析されメモリにロードされる。ここで、<map>タグ602は、DOMツリー500における<map>ノード532に対応する。<area>タグ604A−Eは、DOMツリー500の<area>ノード542A−Cに対応し、<img>タグ606は、DOMツリー500の<img>ノード534に対応する。
生成されたドキュメント204には、後で<anchor>タグ610A−Eと称される個々の<img>タグ608A−E及び<a>タグを含み得る。新しい各<img>タグ608A−Eは、トランスコーダ114によって抽出された部分画像の内の1つを指定する。ここで、“src”属性における<img>タグ608A−Eの名前には、それぞれ元の画像102の名前及び<area>タグ604A−Eの座標が含まれる。各<img>タグ608A−Eは、それぞれ<anchor>タグ610A−Eの子であり、これらは、関連する“href”属性における部分画像に関連するハイパーリンクを指定する。
幾つかの実施例では、初期ドキュメント202におけるHTMLタグ又は属性には、無線通信装置104等の特定の装置が、どのように画像102の大きさを決定して表示すべきかに関する情報が含まれる。例えば、HTMLコードには、それぞれ移動装置、携帯情報端末、携帯電話、及び特定の種類の携帯電話用のコンテンツを識別する<mobile>タグ、<PDA>タグ、<cellphone>タグ、及び<motorola_v66>タグ等の、特定のタイプの装置用のコンテンツを識別するタグを含み得る。タグは、また、それぞれ画像の人物像及びテキストを識別する<顔>タグ又は<text>タグ等の特定のタイプのコンテンツを識別し得る。マップコンテンツ生成器310は、これらのタグを用いて、抽出器306に提供される座標312を決定し得る。
幾つかの実施例では、各抽出された部分画像は、同じ大きさ及び形状にされる。例えば、部分画像106A−Eは、無線通信装置104に表示し得る最大の大きさ及び形状を用いて抽出し得る。表示能力情報318には、無線通信装置104によって用いられる表示の大きさを含み得る。マップコンテンツ生成器310は、2つ以上の部分画像206A−Eが表示寸法と同じ大きさになるように、拡大及び収縮率を生成し得る。
幾つかの実施例では、部分画像は、<area>タグ604A−Eの順番以外の順番で、例えば、大きさ、形状、タイプ、ハイパーリンク、又はHTML内における他の関連する情報により部分画像をグループ分けすることによって表示される。例えば、同じネットワークアドレスへのハイパーリンクを有する部分画像は、一緒に列記し得る。円形の部分画像は、矩形の部分画像及び多角形の部分画像の前に列記し得る。部分画像は、地域206A−Eの元の大きさにより降順又は昇順に列記し得る。
幾つかの実施例では、部分画像のコンテンツは、例えば、顔、テキスト、又はテキストスタイルを一緒にグループ化することによって、部分画像を順番に並べるために用いられる。例えば、太字の又は大きなテキストを含む部分画像は、平文又は小さいテキストの前に列記し得る。顔を含む部分画像は、顔を含まない他の部分画像の前に列記し得る。
図3において、表示順又は位置決めは、初期ドキュメント102の画像マップ304に含まれる位置標識308によって規定し得る。例えば、位置標識308は、顔を最初に表示することや、一番目に部分画像106Aを表示し、次に部分画像106Bを表示し、三番目に部分画像106Cを表示することを指定し得る。他の実施例において、位置標識308は、マップコンテンツ生成器310によって生成され、出力され、ドキュメント生成器322によって用い得る。ドキュメント生成器322は、位置標識308を用いて、部分画像106A−Eが指定順番になっているドキュメント204を生成し得る。
図7は、汎用コンピュータシステム700の概略図である。システム700は、一実施例に基づき、上述した動作400に用い得る。例えば、システム700は、画像処理システム112、無線通信装置104、遠隔ウェッブサーバ116、及び第2遠隔ウェッブサーバ326のいずれか又は全てを含み得る。
システム700には、プロセッサ710、メモリ720、記憶装置730、及び入出力装置740が含まれる。各構成要素710、720、730、及び740は、システムバス750を用いて相互接続される。プロセッサ710は、システム700内で実行するための命令を処理可能である。一実施例において、プロセッサ710は、単一スレッド式プロセッサである。他の実施例において、プロセッサ710は、多重スレッド式プロセッサである。プロセッサ710は、入出力装置740上のユーザインターフェイス用のグラフィカル情報を表示するためのメモリ720又は記憶装置730に記憶された命令を処理可能である。
メモリ720は、システム700内に情報を記憶する。一実施例において、メモリ720は、コンピュータ判読可能媒体である。一実施例において、メモリ720は、揮発性メモリユニットである。他の実施例において、メモリ720は、不揮発性メモリユニットである。
記憶装置730は、システム700に大容量記憶装置を提供することが可能である。一実施例において、記憶装置730は、コンピュータ判読可能媒体である。様々な異なる実施例において、記憶装置730は、フロッピー(登録商標)ディスク装置、ハードディスク装置、光ディスク装置、又はテープ装置であってよい。
入出力装置740は、システム700に入出力動作を提供する。一実施例において、入出力装置740には、キーボード及び/又はポインティングデバイスが含まれる。他の実施例において、入出力装置740には、グラフィカルユーザーインターフェイスを表示するための表示装置が含まれる。
上述した特徴は、デジタル電子回路において、又はコンピュータハードウェア、ファームウェア、ソフトウェア、又はそれらの組合せにおいて実現し得る。装置は、情報担体に、例えば、機械読み取り可能な記憶装置に又は伝搬信号に具体的に具現化されたコンピュータ・プログラム・プロダクトにおいて実現して、プログラム可能なプロセッサによって実行し得る。また、方法ステップは、プログラム可能なプロセッサが、命令のプログラムを実行して、上述した実施例の機能を実施し、入力データを処理し出力を生成することによって、実施し得る。上述した特徴は、利点として、データ記憶システム、少なくとも1つの入力装置、及び少なくとも1つの出力装置との間で、データ及び命令を受信するように、また、データ及び命令を送信するように結合された少なくとも1つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行可能な1つ又は複数のコンピュータプログラムにおいて実現し得る。コンピュータプログラムは、或るアクティビティを実施するために又は或る結果をもたらすために、コンピュータにおいて直接又は間接的に用い得る命令の集合である。コンピュータプログラムは、コンパイル式又は翻訳式言語を含む任意の形式のプログラミング言語で作成可能であり、また、任意の形式で、例えば、スタンドアローンのプログラムとして、モジュール、部品、サブルーチン、又はコンピュータ処理環境での使用に適する他の単位として導入可能である。
一例として、プログラムの命令を実行するための適切なプロセッサとしては、汎用及び専用マイクロプロセッサ双方、及び単一のプロセッサ又は任意の種類のコンピュータの複数のプロセッサの内の1つが挙げられる。一般的に、プロセッサは、読み出し専用メモリもしくはランダムアクセスメモリ又は双方から命令及びデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサ並びに命令及びデータを記憶するための1つ又は複数のメモリである。一般的に、コンピュータは、データファイルを記憶するための1つ又は複数の大容量記憶装置を更に含んだり、それらと通信を行うように連動して結合されたりする。そのような装置としては、内部ハードディスク及び着脱可能ディスク等の磁気ディスク、光磁気ディスク、及び光ディスクが挙げられる。コンピュータプログラム命令及びデータを具体的に具現化するのに適する記憶装置としては、一例として、EPROM、EEPROM、及びフラッシュメモリ装置等の半導体メモリ装置、内部ハードディスク及び着脱可能ディスク等の磁気ディスク、光磁気ディスク、及びCD−ROM及びDVD−ROMディスクを含む全ての形態の不揮発性メモリが挙げられる。プロセッサ及びメモリは、ASIC(特定用途向け集積回路)によって補足したり、それに組み込んだりしてよい。
ユーザとの対話を提供する場合、これらの特徴は、ユーザに情報を表示するためのCRT(陰極線管)又はLCD(液晶表示装置)モニタ等の表示装置や、ユーザがコンピュータへの入力を行い得るキーボード及びマウス又はトラックボール等のポインティングデバイスを有するコンピュータに実現し得る。
これらの特徴は、データサーバ等のバックエンド構成要素が含まれたり、アプリケーションサーバ又はインターネットサーバ等のミドルウェア構成要素が含まれたり、グラフィカルユーザーインターフェイス又はインターネットブラウザを有するクライアントコンピュータ等のフロントエンド構成要素やそれらの任意の組合せが含まれたりするコンピュータシステムに実現し得る。システムの構成要素は、通信ネットワーク等の任意の形態又は媒体のデジタルデータ通信によって接続し得る。通信ネットワークの例としては、例えば、LAN、WAN、及びインターネットを形成するコンピュータ及びネットワークが挙げられる。
コンピュータシステムには、クライアント及びサーバを含み得る。クライアント及びサーバは、一般的に、互いに離れていて、通常、上述したネットワーク等のネットワークを介してやり取りする。クライアントとサーバとの関係は、それぞれのコンピュータ上で動作し、互いにクライアント・サーバ関係を有するコンピュータプログラムのおかげで生じる。
数例の実施例について詳細に述べたが、他の修正が可能である。本開示の一部は、HTMLを含む電子ドキュメントについて述べているが、XML(拡張マークアップ言語)、WML(無線マークアップ言語)、PDF(ポータブルドキュメントフォーマット)、ワード処理フォーマット、及び画像フォーマットを含む任意の数のフォーマットを上述したシステムによって処理し得る。また、図に示した論理フローは、望ましい結果を実現するために、図示した特定の順番、逐次的な順番を必要としない。また、他のステップを提供したり、上述したフローからステップを省略したりして、上述したシステムに対して、他の構成要素を追加したり、削除したりしてよい。従って、他の実施例は、以下の請求項の範囲内にある。
一実施例に基づく無線通信装置に表示される画像を処理するためのシステムの概略図である。 一実施例に基づく図1のシステムによって処理する前後の画像を示す概略図である。 図1のシステムの更に詳細を示すブロック図である。 無線通信装置に表示される画像を処理する際に実施し得る代表的な動作のフローチャートである。 画像を含むウェッブページの代表的なドキュメント・オブジェクト・モデル(DOM)ツリーを示す図である。 一実施例に基づく無線通信装置に表示するために処理されたハイパーテキスト・マークアップ言語(HTML)コードを示す概略図である。 汎用コンピュータシステムの概略図である。
符号の説明
100・・・画像処理システム、
102・・・画像、
104・・・無線通信装置、
106A・・・部分画像、
112・・・画像処理システム、
114・・・トランスコーダ、
116・・・ウェッブサーバ

Claims (19)

  1. 画像を処理して移動通信装置に表示するためのコンピュータ実装された方法であって、
    移動通信装置に表示される画像を含む画像マップを有する初期ドキュメントに関する要求を、サーバシステムの遠隔にある移動通信装置から、サーバシステムにて、受信する段階と、
    画像、画像の部分を特定する座標、および画像の特定された部分と関連する選択可能なリンクからなる画像マップを含む前記初期ドキュメントをサーバシステムで読み出す段階であって、
    前記選択可能なリンクは、初期ドキュメントを見ているユーザによって特定された部分のうち一つを選択することにより選択された部分に割り当てられた選択可能なリンクが実行されるように、画像の特定された部分に割り当てられる段階と、
    画像マップの座標によって定義されているように画像の特定された部分の各々に対して画像からサブ画像を生成することによって、画像マップに基づき画像の特定された部分を、トランスコーダを用いて、抽出する段階であって、
    前記生成されたサブ画像は、画像マップと1つの画像から分離される画像ファイルからなり、各サブ画像は、移動通信装置上に効果的に表示されるように生成され、前記サブ画像は、前記1つの画像の部分を特定する画像マップの座標に基づき生成される、段階と、
    画像の抽出された部分の各々からなる第2のドキュメントを、トランスコーダを用いて、生成する段階であって、
    生成された第2のドキュメントは、大きすぎ又は詳細すぎて移動通信装置上に効果的に表示できなくならないように前記画像の代わりとして生成されたサブ画像を含み、第2のドキュメント内の生成されたサブ画像についての画像表示における空間的位置決めは、画像マップ内の対応する特定された部分についての画像表示における空間的位置決めとは異なる、段階と、
    前記生成された第2のドキュメントを移動通信装置に送信して表示する段階と、
    が含まれる方法。
  2. 請求項1に記載の方法であって、更に、選択可能なリンクを前記画像の抽出された前記部分のうち少なくとも一つに割り当てる段階が含まれる方法。
  3. 請求項1に記載の方法であって、更に、前記要求は、前記移動通信装置から受信する方法。
  4. 請求項3に記載の方法であって、更に、
    前記第2のドキュメントをデータベースに記憶する段階と、
    前記初期ドキュメントに対する今後の要求に応じて、前記記憶された第2のドキュメントを送信する段階と、
    が含まれる方法。
  5. 請求項3に記載の方法であって、前記要求には、前記移動通信装置の表示能力に関連する情報が含まれる方法。
  6. 請求項5に記載の方法であって、更に、前記表示能力に基づき、前記画像の抽出された前記部分のうち少なくとも一つの大きさを修正する段階が含まれる方法。
  7. 請求項5に記載の方法であって、更に、前記表示能力に基づき、抽出された前記部分のうち少なくとも一つをトリミング(cropping)する段階が含まれる方法。
  8. 請求項3に記載の方法であって、更に、遠隔ウェッブサーバから前記初期ドキュメントを検索する段階が含まれる方法。
  9. 請求項3に記載の方法であって、更に、
    前記初期ドキュメントにおける要素をドキュメント・オブジェクト・モデル・ツリーにまとめることによって、そして、前記ツリーを詳細に調べて前記画像マップを特定することによって、前記画像マップを識別する段階が含まれる方法。
  10. 請求項3に記載の方法であって、更に、前記初期ドキュメントにおける要素を順次解析して、前記画像マップを特定することによって前記画像マップを識別する段階が含まれる方法。
  11. 請求項1に記載の方法であって、
    抽出を目的として前記画像の前記部分を特定するために用いられる座標を、顔認識アルゴリズムを用いて生成する段階を更に含む方法。
  12. 請求項1に記載の方法であって、
    抽出を目的として前記画像の前記部分を特定するために用いられる座標を、光学的文字認識アルゴリズムを用いて生成する段階を更に含む方法。
  13. 請求項1に記載の方法であって、
    前記画像マップには、前記画像の抽出された前記部分を移動通信装置ブラウザ上での表示用の大きさにすべきであることを特定するために用いられるマークアップ言語タグが含まれる方法。
  14. 請求項1に記載の方法であって、更に、
    少なくとも一つの抽出された前記部分に隣接する領域を抽出し、それにより、前記領域と少なくとも一つの前記部分の組合せが所定の大きさ又は形状になるようにする段階が含まれる方法。
  15. 請求項1に記載の方法であって、更に、
    少なくとも一つの抽出された前記部分に隣接する領域に表示するために画像データを生成し、それにより、前記生成された画像データと少なくとも一つの抽出された前記部分との組合せが所定の大きさ又は形状であるようにする前記段階が含まれる方法。
  16. 請求項1に記載の方法であって、更に、
    前記部分が表示される位置は、前記画像マップに基づき、
    前記画像マップは、更に、位置標識を含む方法。
  17. 請求項1に記載の方法であって、更に、前記部分が表示される位置は、前記画像の前記コンテンツに基づく方法。
  18. 請求項1に記載の方法であって、前記部分は、同じ大きさ及び形状である方法。
  19. 画像を処理して移動通信装置に表示するためのコンピュータ実装された方法であって、
    移動通信装置に表示される画像を含む画像マップを有する初期ドキュメントに関する要求を、サーバシステムの遠隔にある移動通信装置から、サーバシステムにて、受信する段階と、
    画像、画像の部分を特定する座標、および画像の特定された部分と関連する選択可能なリンクからなる画像マップを含む前記初期ドキュメントをサーバシステムで読み出す段階であって、
    前記選択可能なリンクは、初期ドキュメントを見ているユーザによって特定された部分のうち一つを選択することにより選択された部分に割り当てられた選択可能なリンクが実行されるように、画像の特定された部分に割り当てられる段階と、
    画像マップの座標によって定義されているように画像の特定された部分の各々に対して画像からサブ画像を生成することによって、画像マップに基づき画像の特定された部分を抽出する段階であって、
    各サブ画像は、移動通信装置上に効果的に表示されるように生成され、前記サブ画像は、1つの画像の部分を特定する画像マップの座標に基づき生成される、段階と、
    画像の抽出された部分の各々からなる第2のドキュメントを生成する段階であって、
    生成された第2のドキュメントは、大きすぎ又は詳細すぎて移動通信装置上に効果的に表示できなくならないように前記画像の代わりとして生成されたサブ画像を含み、第2のドキュメントに含まれている抽出された部分は、前記部分が初期ドキュメントにおける表示のされ方と比較して異なった位置に表示される段階と、
    前記生成された第2のドキュメントを移動通信装置に送信して表示する段階と、
    が含まれる方法。
JP2008532413A 2005-09-22 2006-09-22 画像処理のためのシステム及び方法 Active JP5269598B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/233,288 US7796837B2 (en) 2005-09-22 2005-09-22 Processing an image map for display on computing device
US11/233,288 2005-09-22
PCT/US2006/036951 WO2007038254A2 (en) 2005-09-22 2006-09-22 System and method for image processing

Publications (2)

Publication Number Publication Date
JP2009509478A JP2009509478A (ja) 2009-03-05
JP5269598B2 true JP5269598B2 (ja) 2013-08-21

Family

ID=37900302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008532413A Active JP5269598B2 (ja) 2005-09-22 2006-09-22 画像処理のためのシステム及び方法

Country Status (9)

Country Link
US (2) US7796837B2 (ja)
EP (1) EP1938250A4 (ja)
JP (1) JP5269598B2 (ja)
KR (2) KR101405508B1 (ja)
CN (2) CN102708116B (ja)
AU (2) AU2006294603B2 (ja)
BR (1) BRPI0616400B1 (ja)
CA (1) CA2623493C (ja)
WO (1) WO2007038254A2 (ja)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596606B2 (en) * 1999-03-11 2009-09-29 Codignotto John D Message publishing system for publishing messages from identified, authorized senders
JP4445116B2 (ja) * 2000-10-17 2010-04-07 東芝テック株式会社 ゲートウエイ装置とネットワークシステム
US20060077443A1 (en) * 2004-10-08 2006-04-13 Sharp Laboratories Of America, Inc. Methods and systems for imaging device display coordination
US7796837B2 (en) * 2005-09-22 2010-09-14 Google Inc. Processing an image map for display on computing device
JP2007219615A (ja) * 2006-02-14 2007-08-30 Sony Corp 検索装置、検索方法、プログラム
US20080065980A1 (en) * 2006-09-08 2008-03-13 Opera Software Asa Modifying a markup language document which includes a clickable image
US8762556B2 (en) * 2007-06-13 2014-06-24 Apple Inc. Displaying content on a mobile device
JP5039946B2 (ja) * 2007-07-26 2012-10-03 インターナショナル・ビジネス・マシーンズ・コーポレーション クライアント装置およびサーバ装置の間の通信を中継する技術
CN101378561B (zh) * 2007-08-29 2013-01-02 华为技术有限公司 提供终端外观内容的方法、外观定制服务器和系统
DE102008009442A1 (de) * 2008-02-13 2009-08-27 Bookrix Gmbh & Co. Kg Verfahren und Vorrichtung zur Textattribuierung in Textgrafiken
US20090288035A1 (en) * 2008-05-15 2009-11-19 Microsoft Corporation Scrollable views in a client/server application
US20110055290A1 (en) * 2008-05-16 2011-03-03 Qing-Hu Li Provisioning a geographical image for retrieval
US8396246B2 (en) * 2008-08-28 2013-03-12 Microsoft Corporation Tagging images with labels
US8867779B2 (en) * 2008-08-28 2014-10-21 Microsoft Corporation Image tagging user interface
JP5596914B2 (ja) * 2008-09-16 2014-09-24 富士通株式会社 端末装置、表示制御方法、及び表示機能を備えたプログラム
EP2526529B1 (en) * 2008-10-28 2014-02-12 Vistaprint Schweiz GmbH Method and system for calculating weight of variable shape product manufactured from product blank
US9582596B2 (en) * 2008-10-29 2017-02-28 International Business Machines Corporation Preventing not found error (404) responses on dynamically loaded missing images
KR20100065744A (ko) * 2008-12-08 2010-06-17 엔에이치엔(주) 웹 페이지를 모바일 단말기에서 디스플레이 가능한 형태로 트랜스코딩하는 방법 및 장치
US8373724B2 (en) * 2009-01-28 2013-02-12 Google Inc. Selective display of OCR'ed text and corresponding images from publications on a client device
US8442813B1 (en) 2009-02-05 2013-05-14 Google Inc. Methods and systems for assessing the quality of automatically generated text
US20100237991A1 (en) * 2009-03-17 2010-09-23 Prabhu Krishnanand Biometric scanning arrangement and methods thereof
US20110074831A1 (en) * 2009-04-02 2011-03-31 Opsis Distribution, LLC System and method for display navigation
JP5455456B2 (ja) * 2009-06-09 2014-03-26 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US8261179B2 (en) * 2009-07-16 2012-09-04 Benevoltek, Inc. Web page hot spots
WO2011075854A1 (en) * 2009-12-23 2011-06-30 Craig Richard Warren Method, system, and article of manufacture for generating ad groups for on-line advertising
US20110238676A1 (en) * 2010-03-25 2011-09-29 Palm, Inc. System and method for data capture, storage, and retrieval
US20110258575A1 (en) * 2010-04-16 2011-10-20 Microsoft Corporation Displaying large datasets in a browser environment
US20130159889A1 (en) * 2010-07-07 2013-06-20 Li-Wei Zheng Obtaining Rendering Co-ordinates Of Visible Text Elements
US20140071492A1 (en) * 2011-05-27 2014-03-13 Kevin J O'Neill Presentation of addresses at imaging devices
US8683008B1 (en) 2011-08-04 2014-03-25 Google Inc. Management of pre-fetched mapping data incorporating user-specified locations
US8204966B1 (en) 2011-09-26 2012-06-19 Google Inc. Map tile data pre-fetching based on user activity analysis
US8280414B1 (en) 2011-09-26 2012-10-02 Google Inc. Map tile data pre-fetching based on mobile device generated event analysis
US20130104025A1 (en) * 2011-10-20 2013-04-25 Microsoft Corporation Enabling immersive search engine home pages
US9207754B2 (en) 2011-10-20 2015-12-08 Microsoft Technology Licensing, Llc Enabling immersive, interactive desktop image presentation
US9275374B1 (en) 2011-11-15 2016-03-01 Google Inc. Method and apparatus for pre-fetching place page data based upon analysis of user activities
US8711181B1 (en) 2011-11-16 2014-04-29 Google Inc. Pre-fetching map data using variable map tile radius
US9063951B1 (en) 2011-11-16 2015-06-23 Google Inc. Pre-fetching map data based on a tile budget
US8886715B1 (en) 2011-11-16 2014-11-11 Google Inc. Dynamically determining a tile budget when pre-fetching data in a client device
US9081468B2 (en) 2011-11-23 2015-07-14 Offerpop Corporation Integrated user participation profiles
US9305107B2 (en) 2011-12-08 2016-04-05 Google Inc. Method and apparatus for pre-fetching place page data for subsequent display on a mobile computing device
US9197713B2 (en) 2011-12-09 2015-11-24 Google Inc. Method and apparatus for pre-fetching remote resources for subsequent display on a mobile computing device
US9389088B2 (en) 2011-12-12 2016-07-12 Google Inc. Method of pre-fetching map data for rendering and offline routing
US8803920B2 (en) 2011-12-12 2014-08-12 Google Inc. Pre-fetching map tile data along a route
US9268750B2 (en) * 2012-04-04 2016-02-23 Offerpop Corporation Shared link tracking in online social networking systems
US9332387B2 (en) 2012-05-02 2016-05-03 Google Inc. Prefetching and caching map data based on mobile network coverage
US8849942B1 (en) 2012-07-31 2014-09-30 Google Inc. Application programming interface for prefetching map data
KR101726692B1 (ko) * 2012-08-24 2017-04-14 한화테크윈 주식회사 객체 추출 장치 및 방법
CN103903221B (zh) * 2012-12-24 2018-04-27 腾讯科技(深圳)有限公司 一种图片生成方法、装置和系统
CN103559096B (zh) * 2013-09-05 2017-07-11 香港四维软件有限公司 计算机软件端口无缝对接方法
US9569656B2 (en) 2013-12-06 2017-02-14 Google Inc. Local real-time facial recognition
US10692531B2 (en) * 2014-10-25 2020-06-23 Yieldmo, Inc. Methods for serving interactive content to a user
CN104503755B (zh) * 2014-12-22 2018-02-13 中软信息系统工程有限公司 基于html5高清位图的动态信息融合展现方法
US20170140250A1 (en) * 2015-11-13 2017-05-18 Microsoft Technology Licensing, Llc Content file image analysis
FR3043806B1 (fr) * 2015-11-17 2018-10-05 Loic Cueroni Procede de visualisation d'un plan par des dispositifs informatiques
US10089280B1 (en) * 2016-03-22 2018-10-02 Massachusetts Mutual Life Insurance Company Systems and methods for improving workflow efficiency and for electronic record population in a networked environment
US11217344B2 (en) * 2017-06-23 2022-01-04 Abiomed, Inc. Systems and methods for capturing data from a medical device
US10909686B2 (en) * 2018-11-28 2021-02-02 International Business Machines Corporation Identifying and extracting a sub-image in a document image file
CN109871505A (zh) * 2019-01-28 2019-06-11 维沃移动通信有限公司 获取网页内容的方法、云服务器和终端设备
KR102070172B1 (ko) * 2019-08-27 2020-01-28 주식회사 동신지티아이 현장좌표와 수치좌표를 비교해서 수치지형 정보를 보정하는 수치데이터 시스템
JP7438778B2 (ja) * 2020-02-12 2024-02-27 株式会社国際電気通信基礎技術研究所 可視化データ処理方法、可視化データ処理システム、および、プログラム
US20220318334A1 (en) * 2021-04-06 2022-10-06 Zmags Corp. Multi-link composite image generator for electronic mail (e-mail) messages

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4484192A (en) * 1981-12-17 1984-11-20 The Bendix Corporation Moving map display
JPH0690596B2 (ja) * 1985-04-30 1994-11-14 日本電装株式会社 電子地図表示装置
US4847604A (en) * 1987-08-27 1989-07-11 Doyle Michael D Method and apparatus for identifying features of an image on a video display
IE61778B1 (en) * 1989-01-04 1994-11-30 Emyville Enterprises Image processing
US5353132A (en) * 1989-02-06 1994-10-04 Canon Kabushiki Kaisha Image processing device
JPH04288584A (ja) * 1991-03-18 1992-10-13 Pioneer Electron Corp 地図表示装置
US5444797A (en) * 1993-04-19 1995-08-22 Xerox Corporation Method and apparatus for automatic character script determination
JP3491962B2 (ja) * 1993-05-07 2004-02-03 キヤノン株式会社 文書検索方法及びシステム
US5533174A (en) * 1993-10-26 1996-07-02 Digital Equipment Corporation Network font server
JPH07261279A (ja) * 1994-02-25 1995-10-13 Eastman Kodak Co 写真画像の選択システム及び方法
US5937106A (en) * 1995-04-04 1999-08-10 Canon Kabushiki Kaisha Image processing apparatus and control method capable of rotating an original image
US5721851A (en) * 1995-07-31 1998-02-24 International Business Machines Corporation Transient link indicators in image maps
US5852810A (en) * 1996-01-29 1998-12-22 Student Housing Network Geographic specific information search system and method
US6034689A (en) * 1996-06-03 2000-03-07 Webtv Networks, Inc. Web browser allowing navigation between hypertext objects using remote control
US5918013A (en) * 1996-06-03 1999-06-29 Webtv Networks, Inc. Method of transcoding documents in a network environment using a proxy server
US5983244A (en) * 1996-09-27 1999-11-09 International Business Machines Corporation Indicating when clickable image link on a hypertext image map of a computer web browser has been traversed
US5893127A (en) * 1996-11-18 1999-04-06 Canon Information Systems, Inc. Generator for document with HTML tagged table having data elements which preserve layout relationships of information in bitmap image of original document
US6724931B1 (en) * 1996-12-02 2004-04-20 Hsu Shin-Yi Compilable plain english-like language for extracting objects from an image using a primitive image map
US6185625B1 (en) * 1996-12-20 2001-02-06 Intel Corporation Scaling proxy server sending to the client a graphical user interface for establishing object encoding preferences after receiving the client's request for the object
DE19706614A1 (de) * 1997-02-20 1998-08-27 Claas Ohg Situationsbezogene programmgesteuerte elektronische Kartenbilddarstellung in einem Kraftfahrzeug
US6000612A (en) * 1997-10-10 1999-12-14 Metanetics Corporation Portable data collection device having optical character recognition
US6075537A (en) * 1997-11-20 2000-06-13 International Business Machines Corporation Ease of use interface to hotspots in hypertext document pages in network display stations
JPH11191082A (ja) * 1997-12-26 1999-07-13 Fuji Xerox Co Ltd サービス中継装置
US6154205A (en) * 1998-03-25 2000-11-28 Microsoft Corporation Navigating web-based content in a television-based system
WO1999062033A1 (en) * 1998-05-23 1999-12-02 Eolas Technologies, Incorporated Identification of features of multi-dimensional image data in hypermedia systems
US6300947B1 (en) * 1998-07-06 2001-10-09 International Business Machines Corporation Display screen and window size related web page adaptation system
DE19936314A1 (de) * 1998-08-05 2000-02-17 Spyglass Inc Verfahren und System zur Inhaltskonvertierung von elektronischen Daten unter Verwendung von Konvertierungspräferenzen
US6925595B1 (en) * 1998-08-05 2005-08-02 Spyglass, Inc. Method and system for content conversion of hypertext data using data mining
US6230174B1 (en) * 1998-09-11 2001-05-08 Adobe Systems Incorporated Method of generating a markup language document containing image slices
GB2343586A (en) * 1998-11-06 2000-05-10 Nec Technologies Image display for mobile phones
GB2346786A (en) * 1999-02-09 2000-08-16 Ibm Image maps
US6456305B1 (en) * 1999-03-18 2002-09-24 Microsoft Corporation Method and system for automatically fitting a graphical display of objects to the dimensions of a display window
US6978418B1 (en) * 1999-04-13 2005-12-20 Hewlett-Packard Development Company, L.P. Dynamic-adaptive client-side image map
US6684087B1 (en) * 1999-05-07 2004-01-27 Openwave Systems Inc. Method and apparatus for displaying images on mobile devices
JP4094777B2 (ja) * 1999-07-15 2008-06-04 富士フイルム株式会社 画像通信システム
US6583792B1 (en) * 1999-11-09 2003-06-24 Newag Digital, Llc System and method for accurately displaying superimposed images
US6941382B1 (en) * 2000-02-07 2005-09-06 Raja Tuli Portable high speed internet or desktop device
AU2001238116A1 (en) * 2000-02-11 2001-08-20 Autolycus, Corporation Generation and display of multi-image video streams
US6862038B1 (en) * 2000-02-11 2005-03-01 Ipac Acquisition Subsidiary I, Llc Efficient image categorization
US6311180B1 (en) * 2000-03-28 2001-10-30 Linx Data Terminals, Inc. Method for mapping and formatting information for a display device
US7148898B1 (en) * 2000-03-29 2006-12-12 Sourceprose Corporation System and method for synchronizing raster and vector map images
JP3879369B2 (ja) * 2000-06-27 2007-02-14 株式会社Kddi研究所 ページを再編集するプロキシサーバ、方法及びプログラムを記録した記録媒体
US6603937B2 (en) * 2000-07-18 2003-08-05 Sharp Kabushiki Kaisha Image forming apparatus
US6704024B2 (en) * 2000-08-07 2004-03-09 Zframe, Inc. Visual content browsing using rasterized representations
KR100476855B1 (ko) * 2000-09-22 2005-03-17 세이코 엡슨 가부시키가이샤 화상처리방법
US7016532B2 (en) * 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
FR2817429B1 (fr) * 2000-11-29 2003-01-31 Eastman Kodak Co Procede pour envoyer des images sur un terminal a faible capacite d'affichage
US20020120653A1 (en) * 2001-02-27 2002-08-29 International Business Machines Corporation Resizing text contained in an image
JP3881182B2 (ja) * 2001-03-09 2007-02-14 株式会社エヌ・ティ・ティ・ドコモ 中継方法および代理サーバ装置
US7016704B2 (en) * 2001-04-02 2006-03-21 Move Mobile Systems, Inc. Coordinating images displayed on devices with two or more displays
EP1393148B1 (en) * 2001-05-02 2010-03-03 Bitstream Inc. Methods, systems, and programming for producing and displaying subpixel-optimized font bitmaps using non-linear color balancing
US7219309B2 (en) * 2001-05-02 2007-05-15 Bitstream Inc. Innovations for the display of web pages
US6834807B2 (en) * 2001-07-13 2004-12-28 Hand Held Products, Inc. Optical reader having a color imager
AUPR678401A0 (en) * 2001-08-02 2001-08-23 Singfield, Christian Network image server
CN1549983B (zh) * 2001-11-13 2010-04-28 国际商业机器公司 用于从物理文档选择电子文档并将所述电子文档显示在所述物理文档上面的系统和方法
FR2833131B1 (fr) * 2001-11-30 2004-02-13 Eastman Kodak Co Procede et systeme pour obtimiser l'affichage d'un sujet d'interet dans une image numerique
US20030171926A1 (en) * 2002-03-07 2003-09-11 Narasimha Suresh System for information storage, retrieval and voice based content search and methods thereof
EP1499964A2 (en) * 2002-04-15 2005-01-26 Koninklijke Philips Electronics N.V. Method, system, computer program product and storage device for displaying a document
JP4110514B2 (ja) * 2002-05-15 2008-07-02 ソニー株式会社 データ符号化装置及び方法、データ復号化装置及び方法、データ送信装置、データ受信装置、記憶媒体、並びにコンピュータ・プログラム
JP4208487B2 (ja) * 2002-05-29 2009-01-14 キヤノン株式会社 情報処理装置及び位置の表示方法
US7441010B2 (en) * 2002-06-06 2008-10-21 International Business Machines Corporation Method and system for determining the availability of in-line resources within requested web pages
US6898331B2 (en) * 2002-08-28 2005-05-24 Bae Systems Aircraft Controls, Inc. Image fusion system and method
US7203901B2 (en) * 2002-11-27 2007-04-10 Microsoft Corporation Small form factor web browsing
US20040183817A1 (en) * 2002-12-03 2004-09-23 Bitstream Inc. Methods, systems, and programming for scaled display of web pages
US20040128342A1 (en) * 2002-12-31 2004-07-01 International Business Machines Corporation System and method for providing multi-modal interactive streaming media applications
FR2851357B1 (fr) * 2003-02-19 2005-04-22 Solystic Procede pour la reconnaissance optique d'envois postaux utilisant plusieurs images
US7260261B2 (en) * 2003-02-20 2007-08-21 Microsoft Corporation Systems and methods for enhanced image adaptation
KR100514629B1 (ko) 2003-07-15 2005-09-14 주식회사 헵스켐 우레탄폴리올 프리폴리머, 다공성 폴리우레탄체 및 이의제조방법
US7428700B2 (en) * 2003-07-28 2008-09-23 Microsoft Corporation Vision-based document segmentation
KR100501173B1 (ko) * 2003-08-07 2005-07-18 에스케이 텔레콤주식회사 이동 통신 단말기에서 고해상도 화상을 디스플레이하기위한 방법과 이를 위한 이동 통신 단말기 및 화상 포맷변환 시스템
US20050041858A1 (en) * 2003-08-21 2005-02-24 International Business Machines Corporation Apparatus and method for distributing portions of large web pages to fit smaller constrained viewing areas
WO2005029308A2 (en) 2003-09-24 2005-03-31 Nokia Corporation Improved presentation of large objects on small displays
US7594194B2 (en) * 2003-09-24 2009-09-22 Nokia Corporation Portrayal of navigation objects
FR2861935B1 (fr) * 2003-11-05 2006-04-07 Thierry Royer Procede et systeme de diffusion de documents vers des terminaux disposant de capacites d'affichage limitees, tels que des terminaux mobiles
US7822233B2 (en) * 2003-11-14 2010-10-26 Fujifilm Corporation Method and apparatus for organizing digital media based on face recognition
US7796837B2 (en) * 2005-09-22 2010-09-14 Google Inc. Processing an image map for display on computing device
US7788577B2 (en) * 2005-09-23 2010-08-31 Google Inc. Displaying information on a mobile device
US7966557B2 (en) * 2006-03-29 2011-06-21 Amazon Technologies, Inc. Generating image-based reflowable files for rendering on various sized displays
US20080065980A1 (en) * 2006-09-08 2008-03-13 Opera Software Asa Modifying a markup language document which includes a clickable image
US8237743B2 (en) * 2009-02-17 2012-08-07 Xerox Corporation Modification of images from a user's album for spot-the-differences

Also Published As

Publication number Publication date
BRPI0616400A2 (pt) 2011-06-21
US8064727B2 (en) 2011-11-22
EP1938250A2 (en) 2008-07-02
CN102708116B (zh) 2016-01-20
JP2009509478A (ja) 2009-03-05
EP1938250A4 (en) 2012-02-15
US7796837B2 (en) 2010-09-14
CN101313353A (zh) 2008-11-26
AU2011202378A1 (en) 2011-06-09
KR20080049839A (ko) 2008-06-04
BRPI0616400B1 (pt) 2018-11-13
AU2006294603A1 (en) 2007-04-05
CN101313353B (zh) 2012-04-18
WO2007038254A2 (en) 2007-04-05
WO2007038254A3 (en) 2008-01-03
CA2623493C (en) 2014-05-13
KR101495258B1 (ko) 2015-02-25
AU2006294603B2 (en) 2011-02-24
CA2623493A1 (en) 2007-04-05
CN102708116A (zh) 2012-10-03
KR101405508B1 (ko) 2014-06-11
US20100316302A1 (en) 2010-12-16
US20070201761A1 (en) 2007-08-30
KR20140031976A (ko) 2014-03-13
AU2011202378B2 (en) 2013-05-16

Similar Documents

Publication Publication Date Title
JP5269598B2 (ja) 画像処理のためのシステム及び方法
US8103737B2 (en) System and method for previewing hyperlinks with ‘flashback’ images
US7877677B2 (en) Methods and apparatus for enabling use of web content on various types of devices
CA2518654C (en) Method for requesting and viewing a zoomed area of detail from an image attachment on a mobile communication device
US20140052778A1 (en) Method and apparatus for mapping a site on a wide area network
US20100114854A1 (en) Map-based websites searching method and apparatus therefor
US20080316225A1 (en) Method for requesting and viewing a zoomed area of detail from an image attachment on a mobile communication device
JP2000194612A (ja) 電子デ―タの内容を無線装置用に変換する方法およびシステム
CN101763357A (zh) 一种用于浏览器加载互联网资源的方法及系统
US20170351713A1 (en) Image processing systems and/or methods
JP2006243829A (ja) ウェブコンテンツ変換方法およびウェブコンテンツ変換システム
JP2001236287A (ja) 画像表示方法及び該方法により画像を表示する携帯端末
KR20100089339A (ko) 이미지 생성 방법과 이미지 표시 방법 및 그 방법을 수행하는 장치
JP2007128367A (ja) 情報検索ノウハウ管理システム
JP5580174B2 (ja) リンク先コンテンツ先読み装置とその方法と、プログラム
AU2013216691B2 (en) System and method for image processing
JP2006309631A (ja) ウェブページデータの検索
KR100487858B1 (ko) 지능형 맞춤 정보 제공 시스템, 방법 및 컴퓨터로 읽을 수있는 기록매체
KR20000063482A (ko) 검색 결과의 이미지 출력 방법 및 시스템
Hui et al. Design and Implement a Cartographic Client Application For Mobile Devices using SVG Tiny and J2ME
KR20180022990A (ko) 화상 기반의 정보 검색 방법 및 장치
Sano et al. Web block extraction system based on client-side imaging for clickable image map
Zolkeply Malacca tourism WAP portal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120404

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121023

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130118

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130125

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130301

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130508

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5269598

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250