JPWO2018216193A1 - プログラム、情報処理装置、及び情報処理方法 - Google Patents

Abstract

コンピュータに、地図が表示された画面上で手書き入力を受けると、前記地図における前記手書き入力の位置に応じた座標と、前記手書き入力の筆跡に応じた文字情報とを取得する、処理を実行させる。

Description

本発明は、プログラム、情報処理装置、及び情報処理方法に関する。

従来、例えば、店舗、物件等の施設を検索する場合、ユーザが、まず、最寄りの駅名等の、検索対象の施設の地理的な位置に関する情報を所定の入力欄に入力した後、検索対象の施設のキーワードを所定の入力欄に入力し、検索ボタンを押下すると、検索を実行できるようにする技術が知られている。

また、例えば、ユーザが、まず、検索対象の施設の地理的な位置を含む地図を画面に表示させる操作を行った後、検索対象の施設のキーワードを所定の入力欄に入力し、検索ボタンを押下すると、検索を実行できるようにする技術が知られている。

特開２００７−２５７４３１号公報

しかしながら、従来技術では、上記のように、地理的な位置に関する施設を検索する場合、当該検索を行うための操作が比較的煩雑であるという問題がある。

そこで、一側面では、所定の入力操作をより簡便にすることができる技術を提供することを目的とする。

一つの案では、コンピュータに、地図が表示された画面上で手書き入力を受けると、前記地図における前記手書き入力の位置に応じた座標と、前記手書き入力の筆跡に応じた文字情報とを取得する、処理を実行させるプログラムが提供される。

一側面によれば、所定の入力操作をより簡便にすることができる。

実施形態に係る情報処理システムの構成例を示す図である。 実施形態に係る情報処理装置のハードウェア構成例を示す図である。 第１の実施形態に係る情報処理装置、及びサーバ装置の機能ブロック図の一例を示す図である。 検索データの一例を示す図である。 第１の実施形態に係る情報処理システムの処理の一例を示すシーケンス図である。 第１の実施形態に係る情報処理装置における表示画面の一例について説明する図である。 第１の実施形態に係る情報処理装置における表示画面の一例について説明する図である。 第１の実施形態に係る情報処理装置における表示画面の一例について説明する図である。 第１の実施形態に係る情報処理装置の処理の一例を示すフローチャートである。 複数の検索対象の範囲と、一の検索用のキーワードが指定された場合の表示画面の一例について説明する図である。 手書き文字が、地図上の所定のオブジェクトに対して入力された場合の表示画面の一例について説明する図である。 複数の検索用のキーワードが指定された場合の表示画面の一例について説明する図である。 第２の実施形態に係る情報処理装置の機能ブロック図の一例を示す図である。 第２の実施形態に係る情報処理装置の処理の一例を示すフローチャートである。 出題データの一例を示す図である。 第２の実施形態に係る情報処理装置の表示画面の一例を示す図である。 第３の実施形態に係る情報処理装置の機能ブロック図の一例を示す図である。 第３の実施形態に係る情報処理装置の処理の一例を示すフローチャートである。 翻訳データの一例を示す図である。 第３の実施形態に係る情報処理装置の表示画面の一例を示す図である。 第３の実施形態に係る情報処理装置の表示画面の一例を示す図である。 第４の実施形態に係るサーバ装置の処理の一例を示すフローチャートである。 第４の実施形態に係る情報処理装置の表示画面の一例を示す図である。

以下、図面に基づいて本発明の実施形態を説明する。

［第１の実施形態］
＜全体構成＞
図１は、実施形態に係る情報処理システム１の構成例を示す図である。図１において、情報処理システム１は、情報処理装置１０−１、１０−２、１０−３、・・・（以下で、それぞれを区別する必要がない場合は、単に「情報処理装置１０」と称する。）、サーバ装置２０を有する。

情報処理装置１０は、例えば、タブレット型ＰＣ（Personal Computer）、スマートフォン、ノートＰＣ等である。

サーバ装置２０は、例えば、サーバ用の情報処理装置である。

情報処理装置１０とサーバ装置２０とは、例えば、インターネット、携帯電話網、無線ＬＡＮ（Local Area Network）等のネットワーク５０を介して接続される。

情報処理装置１０は、ユーザからの手書き入力操作を受け付け、入力されたデータに基づく検索要求をサーバ装置２０に送信する。また、情報処理装置１０は、サーバ装置２０から受信した検索結果を、画面に表示する。

サーバ装置２０は、情報処理装置１０から受信した検索要求に応じて、所定の地理的な位置の範囲（エリア）内から検索結果を抽出し、抽出した検索結果を情報処理装置１０に送信する。

＜ハードウェア構成＞
図２は、実施形態に係る情報処理装置１０のハードウェア構成例を示す図である。図２の情報処理装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、インタフェース装置１０５、表示装置１０６、及び入力装置１０７等を有する。

情報処理装置１０での処理を実現する情報処理プログラムは、記録媒体１０１によって提供される。情報処理プログラムを記録した記録媒体１０１がドライブ装置１００にセットされると、情報処理プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、情報処理プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされた情報処理プログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って情報処理装置１０に係る機能を実現する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１０６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１０７はタッチパネル及びボタン等で構成され、様々な操作指示を入力させるために用いられる。

なお、記録媒体１０１の一例としては、ＣＤ−ＲＯＭ、ＤＶＤディスク、又はＵＳＢメモリ等の可搬型の記録媒体が挙げられる。また、補助記憶装置１０２の一例としては、ＨＤＤ（Hard Disk Drive）又はフラッシュメモリ等が挙げられる。記録媒体１０１及び補助記憶装置１０２のいずれについても、コンピュータ読み取り可能な記録媒体に相当する。

なお、サーバ装置２０のハードウェア構成は、情報処理装置１０のハードウェア構成と同様でもよい。

＜機能構成＞
次に、図３を参照し、第１の実施形態に係る情報処理装置１０、及びサーバ装置２０の機能構成について説明する。図３は、第１の実施形態に係る情報処理装置１０、及びサーバ装置２０の機能ブロック図の一例を示す図である。

≪情報処理装置≫
情報処理装置１０は、入力部１１、位置判定部１２、文字認識部１３、取得部１４、表示制御部１５、及び通信部１６を有する。これら各部は、情報処理装置１０にインストールされた１以上のプログラムが、情報処理装置１０のＣＰＵ１０４に実行させる処理により実現される。

入力部１１は、地図の情報が表示された画面上で、ユーザからの指やスタイラスペン等による手書き操作による文字の入力等を受け付ける。また、入力部１１は、位置判定部１２により判定された地理的な位置を示す座標と、

位置判定部１２は、入力部１１に入力された手書き文字が、当該地図上のいずれの位置に入力されたかを判定する。位置判定部１２は、例えば、画面における画素（ピクセル）の座標と、当該画面上の地理的な緯度、経度等の座標とを対応付けて記憶しておき、手書き入力された画面上の画素の座標を、地理的な位置を示す座標（地図上の位置）に変換する。なお、地図上の位置は、当該地図の各位置に対応付けられた地理的な位置であり、例えば、緯度、経度等の座標で表されるデータでもよい。または、例えば、緯度、経度、高さ等の３次元の座標で表されるデータでもよい。

文字認識部１３は、入力部１１に入力された手書き文字の筆跡を文字認識し、文字認識の結果である文字情報（テキスト情報）を生成する。

取得部１４は、位置判定部１２により判定された地図上の位置、及び文字認識部１３により認識された結果の文字情報に基づく検索結果を、サーバ装置２０から取得する。

表示制御部１５は、取得部１４により取得された検索結果を、地図の情報が表示された画面上で、当該検索結果に応じた位置に表示させる。

通信部１６は、サーバ装置２０等との通信を行う。

≪サーバ装置≫
サーバ装置２０は、記憶部２１を有する。記憶部２１は、例えば、補助記憶装置等を用いて実現される。記憶部２１は、検索データ２１１を記憶する。図３Ｂは、検索データ２１１の一例を示す図である。検索データ２１１は、施設のＩＤに対応付けて、施設の名称、当該施設の検索用のキーワード群、当該施設の位置等のデータを記憶しておく。

また、サーバ装置２０は、入力部２２、検索部２３、取得部２４、表示制御部２５、及び通信部２６を有する。これら各部は、サーバ装置２０にインストールされた１以上のプログラムが、サーバ装置２０のＣＰＵに実行させる処理により実現される。

入力部２２は、情報処理装置１０から、ユーザからの手書き操作により入力された文字に関するデータを入力する。入力部２２は、例えば、手書き文字が入力された地図上の位置、及び当該手書き文字が認識された結果の文字情報等を入力する。

検索部２３は、検索データ２１１を参照し、入力部２２により入力された位置、及び文字情報の条件に合致する施設を検索する。

取得部２４は、検索部２３による検索結果を取得する。

表示制御部２５は、取得部２４により取得された検索結果を、情報処理装置１０の画面に表示させる。

通信部２６は、情報処理装置１０等との通信を行う。

＜処理＞
次に、図４を参照して、第１の実施形態に係る情報処理システム１の処理について説明する。図４は、第１の実施形態に係る情報処理システム１の処理の一例を示すシーケンス図である。

ステップＳ１において、情報処理装置１０の入力部１１は、ユーザからの検索を開始するための操作を受け付ける。

続いて、情報処理装置１０の通信部１６は、地図情報の取得要求をサーバ装置２０に送信する（ステップＳ２）。ここで、情報処理装置１０の通信部１６は、例えば、ＧＰＳ（Global Positioning System）で取得した現在位置の周辺の地図情報の取得を要求する。なお、地図情報は、実際の緯度、経度に応じた地図に限らず、例えば、路線図や、道路やランドマークを模式的に示した概略地図でもよい。この場合、路線図や概略地図上の位置と、実際の緯度、経度とを相互に置換して、検索及び検索結果の表示を行うようにすればよい。

続いて、サーバ装置２０の通信部２６は、要求された地図情報を情報処理装置１０に送信する（ステップＳ３）。

続いて、情報処理装置１０の表示制御部１５は、受信した地図情報を画面に表示する（ステップＳ４）。

続いて、情報処理装置１０の入力部１１は、地図を表示している画面上で、ユーザからの手書き操作による文字の入力を受け付ける（ステップＳ５）。ここで、情報処理装置１０は、手書きによる入力操作の後、所定時間（例えば、３秒）待機し、当該所定時間以内に次の入力操作がない場合、以降の処理に進むようにしてもよい。

続いて、情報処理装置１０の位置判定部１２は、当該手書き文字が入力された地図上の位置を取得する（ステップＳ６）。

続いて、情報処理装置１０の文字認識部１３は、当該手書き文字を認識し、文字情報を取得する（ステップＳ７）。ここで、情報処理装置１０の文字認識部１３は、手書き文字を認識した際の認識の確からしさのスコア順に、所定数の認識候補、または所定の閾値以上のスコアの認識候補を取得してもよい。これにより、例えば、手書きされた文字列が「ラーメン」であるか「ラーメソ」であるか不明な場合に、両方のキーワードによる検索結果を取得して表示できる。この場合、誤認識された「ラーメソ」に応じて抽出される件数は比較的少ないと考えられるため、手書き文字認識の精度が比較的低くても、比較的良好な検索結果を得ることができる。

続いて、情報処理装置１０の通信部１６は、当該手書き文字が入力された地図上の位置の情報、及び当該手書き文字を認識した結果の文字情報をサーバ装置２０に送信する（ステップＳ８）。

続いて、サーバ装置２０の検索部２３は、検索データ２１１を参照し、受信した地図上の位置の情報、及び文字情報に基づき、検索結果を抽出する（ステップＳ９）。ここで、サーバ装置２０の検索部２３は、受信した文字をキーワードとして、例えば、インターネット上のＷｅｂサイトのデータを検索し、施設等の名称と、当該施設等の位置（住所等）を検索する。なお、サーバ装置２０は、各施設等のＩＤ（識別情報）に対応付けて、名称、説明文、種別、及び位置をデータベースに予め記憶しておき、各施設等の名称、及び説明文に、受信したキーワードが含まれる施設等を抽出してもよい。

そして、サーバ装置２０の検索部２３は、受信した地図上の位置と、当該施設等の位置とに基づいて、検索結果を抽出する。ここで、例えば、受信した地図上の位置の範囲内に位置する施設等を抽出する。または、キーワードに基づく一致度のスコアと、位置に基づく一致度のスコアとを合算した値が所定の閾値以上である施設等を抽出してもよい。

続いて、サーバ装置２０の表示制御部２５は、検索結果を情報処理装置１０に送信する（ステップＳ１０）。ここで、検索結果には、例えば、ステップＳ９で抽出された各施設等の名称、当該各施設の種別、当該各施設の位置の情報が含まれてもよい。

続いて、情報処理装置１０の表示制御部１５は、受信した検索結果を地図上に表示させる（ステップＳ１１）。ここで、情報処理装置１０は、例えば、地図画面上で、受信した各施設の位置に、各施設の種別を示すアイコンと、各施設の名称とを表示してもよい。

図５Ａ乃至図５Ｃは、第１の実施形態に係る情報処理装置１０における表示画面の一例について説明する図である。図５Ａの例では、「すし」という文字５０１が手書きで入力された場合に、当該手書き文字が入力された地図上の位置の範囲５０２内に位置する各施設５０３Ａ乃至５０３Ｄの名称と、各施設の種別である飲食店を示すアイコンとが表示されている。これにより、従来技術のように、位置を指定する操作、及びキーワードを指定する操作の２つの操作を行う場合と比較して、手書きの１度の入力操作により、位置とキーワードを指定することができる。

ここで、手書きの文字５０１を含む領域が、当該手書き文字が入力された地図上の位置の範囲５０２とされる。検索に用いられる範囲５０２は、例えば、手書き文字に外接する矩形の領域でもよいし、中心位置を当該矩形と同一の位置とする正方形の領域でもよい。または、中心位置を当該矩形と同一とし、当該矩形の各辺の長さが所定の倍率だけ拡大された矩形の領域でもよい。あるいは、手書き文字を含む円形または楕円形の領域としてもよい。

図５Ｂの例では、図５Ａの画面において、例えば、ユーザからの、２本の指の間隔を広くするピンチアウト操作により、地図が拡大された際の表示画面が示されている。情報処理装置１０の表示制御部１５は、画面上の地図を拡大、縮小させる操作を受け付けると、地図を拡大、縮小させるとともに、地図上の手書き文字５０１も、当該地図に合わせて拡大、縮小させる。

図５Ｃの例では、図５Ｂの画面において、例えば、ユーザからの、２本の指の間隔を狭くするピンチイン操作、及び指先をスライドさせるスワイプ操作により、地図上の手書き文字５０１が縮小、及び移動された際の表示画面が示されている。情報処理装置１０の表示制御部１５は、地図上の手書き文字５０１を拡大、縮小させる操作を受け付けると、地図は拡大、縮小させずに、地図上の手書き文字５０１のみを拡大、縮小させる。また、情報処理装置１０の表示制御部１５は、地図上の手書き文字５０１を移動させる操作を受け付けると、地図は移動させずに、地図上の手書き文字５０１のみを移動させる。

情報処理装置１０の取得部１４は、地図上の手書き文字を拡大、または移動させる操作を受け付けると、当該操作に応じた地図上の手書き文字の位置に応じて、ステップＳ８の、位置の情報、及び文字情報をサーバ装置２０に送信する処理を再度行う。これにより、当該操作に応じた地図上の手書き文字の位置に応じた検索結果が再度取得され、取得された検索結果が地図上に表示される。図５Ｃの例では、手書き文字５０１が縮小、及び移動された後の地図上の位置の範囲５０２Ｃ内に位置する各施設５０３Ｅの名称と、各施設の種別である飲食店を示すアイコンとが表示されている。これにより、一度入力した手書きの文字を、検索する位置を変えて再利用することができる。

なお、地図上の手書き文字を移動させる操作は、例えば、地図上に手書きされた文字の領域を、長押しする、二本の指で選択する、スタイラスペンで選択する等の操作により行えるようにしてもよい。また、二本の指による操作は、地図の拡大、縮小、及び移動の操作とし、一本の指による操作は、地図上の手書き文字の移動操作と判定するようにしてもよい。

≪情報処理装置の処理≫
次に、図６乃至図９を参照して、第１の実施形態に係る情報処理装置１０による、地図上で入力された手書き文字により施設等を検索する際の処理について説明する。図６は、第１の実施形態に係る情報処理装置１０の施設等を検索する処理の一例を示すフローチャートである。

ステップＳ１０１において、入力部１１は、地図を表示している画面上で、ユーザからの手書き操作による入力を受け付ける。

続いて、取得部１４は、入力されたデータが、検索対象の位置を指定するデータであるか否かを判定する（ステップＳ１０２）。ここで、ユーザにより手書き操作で入力されたデータが、例えば、楕円、矩形、×印等の所定のデータである場合、検索対象の範囲を指定するデータであると判定される。

入力されたデータが、検索対象の位置を指定するデータである場合（ステップＳ１０２でＹＥＳ）、取得部１４は、次に手書き入力された文字と、当該指定された１以上の検索対象の位置とに基づき、検索結果を取得し、表示制御部１５により表示させ（ステップＳ１０３）、処理を終了する。

図７は、複数の検索対象の範囲と、一の検索用のキーワードが指定された場合の表示画面の一例について説明する図である。図７の例では、楕円により、検索対象の範囲６０１、６０２が指定され、「ラーメン」という検索用のキーワード６０３が指定されている。この場合、検索対象の範囲６０１、６０２内に位置する施設等が、検索用のキーワード６０３に基づいて検索される。この結果、図７の例では、範囲６０１内で施設６０４Ａ、６０４Ｂが表示され、範囲６０２内で施設６０４Ｃが表示されている。

一方、入力されたデータが、検索対象の位置を指定するデータでない場合（ステップＳ１０２でＮＯ）、取得部１４は、手書き文字が、地図上の所定のオブジェクトに対して入力されたか否かを判定する（ステップＳ１０４）。ここで、取得部１４は、例えば、入力された手書きの文字列の先頭の文字の位置が、当該所定のオブジェクトの位置上である場合に、手書き文字が、地図上の所定のオブジェクトに対して入力されたと判定してもよい。または、取得部１４は、入力された手書きの文字列を含む矩形の少なくとも一部が、当該所定のオブジェクトの位置上である場合に、手書き文字が、地図上の所定のオブジェクトに対して入力されたと判定してもよい。

手書き文字が、地図上の所定のオブジェクトに対して入力された場合（ステップＳ１０４でＹＥＳ）、取得部１４は、手書き入力された文字と、地図上の当該所定のオブジェクトの位置とに基づき、検索結果を取得して表示制御部１５により表示させ（ステップＳ１０５）、処理を終了する。図８は、手書き文字が、地図上の所定のオブジェクトに対して入力された場合の表示画面の一例について説明する図である。図８の例では、「１ＬＤＫ」という検索用のキーワード７０１が、地図上の線路上に入力されている。この場合、取得部１４は、当該線路の沿線を含む所定の範囲７０２内で、「１ＬＤＫ」の物件を検索させ、検索結果７０３Ａ乃至７０３Ｃを表示する。なお、地図上の所定のオブジェクト毎に、予め設定された検索用のキーワードを使用できるようにしてもよい。例えば、線路上に「Ｎ」の文字列が手書き入力された場合、取得部１４は、当該線路の沿線を含む所定の範囲７０２内で、新築の物件を検索させるようにしてもよい。また、例えば、線路上に「５分」の文字列が手書き入力された場合、取得部１４は、当該線路の沿線の各駅から徒歩５分以下の範囲内で、物件を検索させるようにしてもよい。

上述した地図上の所定のオブジェクトは、線路に限らず、商業施設や、遊園地等の施設でもよい。この場合例えば、所定のショッピングモール上に「くつ」と手書き入力された場合、取得部１４は、当該所定のショッピングモールに含まれる各靴屋を検索させて表示させようにしてもよい。

また、取得部１４は、手書きされた各文字列と、地図上の所定の各オブジェクトに対して入力された場合、手書き入力された各文字列と、地図上の当該所定の各オブジェクトの位置とに基づき、検索結果をそれぞれ取得して表示させてもよい。例えば、地図上のＡ駅に対して「５分」、Ｂ駅に対して「１０分」の文字列が手書き入力された場合は、Ａ駅から徒歩５分以下の範囲内の物件、及びＢ駅から徒歩１０分以下の範囲内の物件をそれぞれ検索できるようにしてもよい。

手書き文字が、地図上の所定のオブジェクトに対して入力された場合、取得部１４は、検索における位置に基づく一致度のスコアに所定の重み付けをし、当該スコアとキーワードに基づく一致度のスコアとを合算した値が所定の閾値以上である施設等を検索結果として表示させてもよい。これにより、通常の検索では、例えば、「くつ」というキーワードで検索した場合は靴屋しか表示されない場合でも、所定のオブジェクトに対して検索された場合、靴を取り扱うスポーツ用品店や洋服屋も表示されるようにすることができる。

一方、手書き文字が、地図上の所定のオブジェクトに対して入力されていない場合（ステップＳ１０４でＮＯ）、取得部１４は、手書き入力された各文字列と、手書き入力された地図上の位置とに基づき、検索結果をそれぞれ取得して表示制御部１５により表示させ（ステップＳ１０６）、処理を終了する。ここで、手書き入力された文字列が複数ある場合、取得部１４は、各文字列に対して、文字と位置とに基づき、検索結果をそれぞれ取得して表示させる。図９は、複数の検索用のキーワードが指定された場合の表示画面の一例について説明する図である。図９の例では、「すし」（「第１の手書き文字」の一例）という文字５０１、及び「ラーメン」（「第２の手書き文字」の一例）という文字８０１が手書きで入力された場合に、上述した図５Ａの「すし」という文字５０１による検索結果と同時に、「ラーメン」という文字８０１が入力された地図上の位置の範囲８０２内に位置する各施設８０３Ａ乃至８０３Ｃが表示されている。

従来技術では、複数の異なるキーワードで検索する場合、キーワード毎にそれぞれ検索する必要があった。一方、本実施形態によれば、複数の異なるキーワードで、一度に検索結果を表示させることができる。これにより、例えば、観光の予定を立てる際に、エリアＡで神社、エリアＢで食事、エリアＣでホテル等のように、一日の予定移動経路に沿って、各施設を検索することができる。

なお、取得部１４は、地図上で新たに手書き入力された文字列、及び当該文字列による新規の検索結果と、当該地図上に含まれる位置における過去の各検索結果とを、同時に当該地図上に表示させてもよい。この場合、例えば、手書き入力された各文字列による検索結果の履歴を記憶しておき、履歴として記憶されている各文字列、及び当該各文字列による各検索結果のうち、当該地図画面に表示される範囲内の各文字列、及び各検索結果を合わせて表示させるようにしてもよい。

［第２の実施形態］
次に、第２の実施形態について説明する。第１の実施形態では、手書き文字により地図上で施設を検索する例について説明した。第２の実施形態では、手書き文字により所定の名称を、当該名称に関連する場所に入力できるようにする例について説明する。第２の実施形態によれば、第１の実施形態と同様に、ユーザは、手書き文字の入力により、文字と位置を一度の操作で指定できる。

なお、第２の実施形態は一部を除いて第１の実施形態と同様であるため、適宜説明を省略する。以下では、第１の実施形態と共通する部分については説明を省略し、異なる部分についてのみ説明する。なお、第２の実施形態に記載の内容は、第１の実施形態にも適用可能である。

＜機能構成＞
次に、図１０を参照し、第２の実施形態に係る情報処理装置１０の機能構成について説明する。図１０は、第２の実施形態に係る情報処理装置１０の機能ブロック図の一例を示す図である。

≪情報処理装置≫
第２の実施形態に係る情報処理装置１０は、記憶部１７を有する。記憶部１７は、例えば、補助記憶装置等を用いて実現される。記憶部１７は、後述する出題データ１７１を記憶しておく。

また、第２の実施形態に係る情報処理装置１０は、正解判定部１８をさらに有する。これら各部は、情報処理装置１０にインストールされた１以上のプログラムが、情報処理装置１０のＣＰＵ１０４に実行させる処理により実現される。

正解判定部１８は、出題データ１７１に含まれる問題文を表示させる。また、正解判定部１８は、当該問題文に対するユーザからの手書き文字に基づき、正解か否かを判定する。

＜処理＞
次に、図１１を参照して、第２の実施形態に係る情報処理システム１の処理について説明する。図１１は、第２の実施形態に係る情報処理装置１０の処理の一例を示すフローチャートである。

ステップＳ２０１において、正解判定部１８は、予め記憶されている問題文を画面上に表示する。図１２は、出題データ１７１の一例を示す図である。出題データ１７１には、出題ＩＤに対応付けて、問題文、正解の位置、及び正解の文字が記憶されている。出題ＩＤは、出題（問題）の識別情報である。問題文は、ユーザに示される問題を示す文章である。正解の位置は、問題に対する正解の地理的な位置を示す情報であり、例えば、緯度、及び経度を示す座標の集合等である。正解の文字は、問題に対する正解文である。

続いて、入力部１１は、地図画面上で、ユーザからの手書き操作による、問題文への回答を示す文字の入力を受け付ける（ステップＳ２０２）。

続いて、位置判定部１２は、当該手書き文字が入力された地図上の位置を取得する（ステップＳ２０３）。

続いて、文字認識部１３は、当該手書き文字を認識し、文字情報を取得する（ステップＳ２０４）。

続いて、正解判定部１８は、当該手書き文字が入力された地図上の位置、及び当該手書き文字を認識した結果の文字が、当該問題文に対応付けられている正解の位置、及び文字と合致するか否かを判定する（ステップＳ２０５）。

位置、及び文字が合致する場合（ステップＳ２０５でＹＥＳ）、正解判定部１８は、画面に「正解」と表示し（ステップＳ２０６）、処理を終了する。

位置、及び文字が合致しない場合（ステップＳ２０５でＹＥＳ）、正解判定部１８は、画面に「不正解」と表示し（ステップＳ２０７）、当該問題文に対応付けられている正解の位置、及び文字を地図画面上に表示し（ステップＳ２０８）、処理を終了する。

図１３は、第２の実施形態に係る情報処理装置１０の表示画面の一例を示す図である。図１３の例では、図１２の出題データ１７１の「００１」の出題ＩＤに対する「青森県の位置と、青森県で日本一の収穫量の果実は？」との問題文に対し、「りんご」等の文字が、青森県の位置に手書き入力され、ステップＳ２０６の処理により「正解」と表示されている。なお、この場合、例えば、「りんご」等の文字を含む領域の中心が、青森県の領域に含まれる場合に、当該文字が青森県の位置に入力されたと判定されてもよい。

［第３の実施形態］
次に、第３の実施形態について説明する。第３の実施形態では、手書き文字により、翻訳の対象とする言語、及び文字を入力できるようにする例について説明する。第３の実施形態によれば、第１の実施形態と同様に、ユーザは、手書き文字の入力により、文字と位置を一度の操作で指定できる。

なお、第３の実施形態は一部を除いて第１の実施形態と同様であるため、適宜説明を省略する。以下では、第１の実施形態と共通する部分については説明を省略し、異なる部分についてのみ説明する。なお、第３の実施形態に記載の内容は、第１の実施形態、及び第２の実施形態にも適用可能である。

＜機能構成＞
次に、図１４を参照し、第３の実施形態に係る情報処理装置１０、及びサーバ装置２０の機能構成について説明する。図１４は、第３の実施形態に係る情報処理装置１０、及びサーバ装置２０の機能ブロック図の一例を示す図である。

第３の実施形態に係るサーバ装置２０の記憶部２１は、翻訳データ２１２を記憶しておく。

サーバ装置２０は、翻訳部２７をさらに有する。翻訳部２７は、サーバ装置２０にインストールされた１以上のプログラムが、サーバ装置２０のＣＰＵに実行させる処理により実現される。

翻訳部２７は、翻訳データ２１２を参照し、手書き文字を、手書き文字の位置に応じた言語に翻訳する。

また、第３の実施形態に係るサーバ装置２０の取得部２４は、翻訳部２７による翻訳結果を取得し、取得した翻訳結果を、表示制御部２５により情報処理装置１０の画面に表示させる。

＜処理＞
次に、図１５を参照して、第３の実施形態に係る情報処理システム１の処理について説明する。図１５は、第３の実施形態に係る情報処理システム１の処理の一例を示すシーケンス図である。

ステップＳ３０１において、情報処理装置１０の表示制御部１５は、地図情報を画面に表示する。

続いて、情報処理装置１０の入力部１１は、地図画面上で、ユーザからの手書き操作による文字の入力を受け付ける（ステップＳ３０２）。

続いて、情報処理装置１０の位置判定部１２は、当該手書き文字が入力された地図上の位置を取得する（ステップＳ３０３）。

続いて、情報処理装置１０の文字認識部１３は、当該手書き文字を認識し、文字情報を取得する（ステップＳ３０４）。

続いて、情報処理装置１０の通信部１６は、当該手書き文字が入力された地図上の位置の情報、及び当該手書き文字を認識した結果の文字情報をサーバ装置２０に送信する（ステップＳ３０５）。

続いて、サーバ装置２０の翻訳部２７は、翻訳データ２１２を参照し、受信した地図上の位置の情報、及び文字情報に基づき、翻訳結果を抽出する（ステップＳ３０６）。図１６は、翻訳データ２１２の一例を示す図である。翻訳データ２１２には、国ＩＤに対応付けて、位置、及び言語が記憶される。国ＩＤは、国、州、または地域の識別情報である。位置は国ＩＤに係る国等の位置を示す情報である。言語は、国ＩＤに係る国等で用いられる言語の情報である。

続いて、サーバ装置２０の表示制御部２５は、取得部２４により翻訳部２７から取得された翻訳結果を、情報処理装置１０に送信する（ステップＳ３０７）。

続いて、情報処理装置１０の表示制御部１５は、受信した翻訳結果を地図上に表示させる（ステップＳ３０８）。

図１７は、第３の実施形態に係る情報処理装置１０の表示画面の一例を示す図である。図１７の例では、アメリカ合衆国の位置に「こんにちは」という文字９０１と手書き入力された場合、アメリカ合衆国の位置に翻訳結果である「Ｈｅｌｌｏ」という文字９０２が表示されている。また、メキシコの位置に「こんにちは」という文字９０３と手書き入力された場合、メキシコの位置に翻訳結果である「Ｈｏｌａ」という文字９０４が表示されている。

＜変形例＞
サーバ装置２０の翻訳部２７は、地図上の施設に応じた翻訳結果を抽出し、情報処理装置１０に表示させてもよい。例えば、地図上に所定の国に関する施設がある場合、手書き文字を、当該所定の国の言語に翻訳し、翻訳結果を、当該施設に応じた位置に表示させる。図１８は、第３の実施形態に係る情報処理装置１０の表示画面の一例を示す図である。図１８の例では、「こんにちは」という文字９１１と手書き入力された場合、アメリカ大使館、及びナイジェリア大使館の位置に翻訳結果である「Ｈｅｌｌｏ」という文字９１２Ａ、９１２Ｂがそれぞれ表示されている。また、スペイン大使館の位置に翻訳結果である「Ｈｏｌａ」という文字９１３が表示されている。所定の国に関する施設として、例えば、大使館、料理店、学校等を対象としてもよい。これにより、例えば、ユーザが中華料理屋に入る際、中国語で店員に挨拶をすることができる。

なお、従来技術では、文字を翻訳する場合、ユーザはまず翻訳言語を指定し、テキストボックス等を選択して文字を入力し、翻訳ボタンを押下する等の操作を行う必要があった。この場合、所望の国の言語を知らないと、翻訳言語を指定できない。

一方、第３の実施形態によれば、ユーザは、翻訳したい国を地図画面上で表示させ、手書き入力を行う操作により、翻訳を行うことができる。

［第４の実施形態］
次に、第４の実施形態について説明する。第４の実施形態では、手書き文字により、検索範囲、翻訳の対象とする言語、及び文字を入力できるようにする例について説明する。

なお、第４の実施形態は一部を除いて第３の実施形態と同様であるため、適宜説明を省略する。以下では、第３の実施形態と共通する部分については説明を省略し、異なる部分についてのみ説明する。なお、第４の実施形態に記載の内容は、第１の実施形態、乃至第３の実施形態にも適用可能である。

第４の実施形態に係るサーバ装置２０の検索部２３は、手書き文字が示す文字、及び当該文字が翻訳部２７に翻訳された結果の文字の両方をキーワードとして、手書き文字の位置に関連する施設を検索する。また、第４の実施形態に係るサーバ装置２０の検索部２３は、検索した施設の名称と、当該名称を当該手書き文字が示す言語（ユーザの母国語）に翻訳した文字とを、情報処理装置１０の地図画面上に表示させる。

＜処理＞
次に、図１９を参照して、第４の実施形態に係る情報処理システム１の処理について説明する。図１９は、第４の実施形態に係るサーバ装置２０の処理の一例を示すフローチャートである。

ステップＳ４０１において、検索部２３は、検索データ２１１を参照し、受信した地図上の位置の情報、及び文字情報に基づき、検索結果を抽出する。なお、この処理は、上述したステップＳ９の処理と同様である。

続いて、翻訳部２７は、翻訳データ２１２を参照し、受信した地図上の位置の情報、及び文字情報に基づき、翻訳結果を抽出する（ステップＳ４０２）。なお、この処理は、上述したステップＳ３０６の処理と同様である。

続いて、検索部２３は、検索データ２１１を参照し、受信した地図上の位置の情報、及びステップＳ４０１の処理にて翻訳部２７により抽出された翻訳結果の文字情報に基づき、検索結果を抽出する（ステップＳ４０３）。

続いて、翻訳部２７は、ステップＳ４０１、及びステップＳ４０３の処理にて検索部２３により抽出された検索結果の文字情報を翻訳する（ステップＳ４０４）。

続いて、表示制御部２５は、抽出した検索結果、及び翻訳結果を情報処理装置１０に送信する（ステップＳ４０５）。

図２０は、第４の実施形態に係る情報処理装置１０の表示画面の一例を示す図である。図２０の例では、アメリカ合衆国の所定の位置に「ラーメン」という文字９２１と手書き入力された場合、アメリカ合衆国の位置に翻訳結果である「Ramen」という文字９２２が表示されている。また、「ラーメン」という文字９２１が入力された地図上の位置の範囲９２３内に位置する施設の英語名称９２４Ａ乃至ユーザの母国語である日本語名称９２４Ｂが表示されている。

＜変形例＞
以上では、施設の名称等を検索する例について説明したが、検索対象として、例えば、飲食店で提供されるメニュー等も検索できるようにしてもよい。この場合、例えば、ユーザが手書き文字で「焼き飯」と入力すると、「焼き飯」が「炒飯」と翻訳され、「炒飯」をメニューに含む地図上の中華料理屋の位置に、「炒飯」の文字を表示するようにしてもよい。

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

情報処理装置１０、及びサーバ装置２０の各機能部は、例えば１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。この場合、例えば、サーバ装置２０の検索部２３は、外部の検索サーバにより実現されていてもよい。また、情報処理装置１０、及びサーバ装置２０を一体の装置として構成してもよい。情報処理装置１０の各機能部のうち少なくとも一部を、サーバ装置２０が有するようにしてもよい。サーバ装置２０の各機能部のうち少なくとも一部を、情報処理装置１０が有するようにしてもよい。

取得部１４、２４は、「第１の取得部」、「第２の取得部」、「第３の取得部」の一例である。表示制御部１５、２５は、「第１の表示制御部」、「第２の表示制御部」、「第３の表示制御部」の一例である。

１ 情報処理システム
１０ 情報処理装置
１１ 入力部
１２ 位置判定部
１３ 文字認識部
１４ 取得部
１５ 表示制御部
１６ 通信部
１７ 記憶部
１７１ 出題データ
１８ 正解判定部
２０ サーバ装置
２１ 記憶部
２１１ 検索データ
２１２ 翻訳データ
２２ 入力部
２３ 検索部
２４ 取得部
２５ 表示制御部
２６ 通信部
２７ 翻訳部

Claims (24)

1. コンピュータに、
   地図が表示された画面上で手書き入力を受けると、前記地図における前記手書き入力の位置に応じた座標と、前記手書き入力の筆跡に応じた文字情報とを取得する、
   処理を実行させるプログラム。
2. 前記地図における前記手書き入力の位置に応じた範囲内の位置に対応付けられた施設の情報のうち、取得した前記文字情報に関連する施設の情報を取得し、
   取得した前記施設の情報に基づき、前記施設の位置を示す情報を、前記画面上に表示する、
   請求項１に記載のプログラム。
3. 前記手書き入力の筆跡を、前記手書き入力された前記画面上の位置に表示させ、
   前記手書き入力の筆跡を拡大、縮小、または移動させる操作を受けると、前記地図における当該操作後の前記手書き入力の範囲、及び前記文字情報に関連する施設の情報を再度取得する、
   請求項１または２に記載のプログラム。
4. 前記手書き入力の範囲が、前記地図上の所定のオブジェクトの少なくとも一部の領域を含む場合、前記地図における当該所定のオブジェクトの領域、及び前記文字情報に関連する施設の情報を取得する、
   請求項１乃至３のいずれか一項に記載のプログラム。
5. 第１の検索対象を示す第１の手書き入力、及び前記第１の検索対象とは異なる第２の検索対象を示す第２の手書き入力を取得し、
   前記地図における前記第１の手書き入力の範囲、及び前記第１の手書き入力が示す文字情報に関連する第１の施設の情報を取得し、
   前記地図における前記第２の手書き入力の範囲、及び前記第２の手書き入力が示す文字情報に関連する第２の施設の情報を取得し、
   前記第１の施設、及び前記第２の施設の位置を、前記画面上で同時に表示させる、
   請求項１乃至４のいずれか一項に記載のプログラム。
6. 前記手書き入力が示す複数の文字情報の候補を取得し、
   前記複数の文字情報の候補のそれぞれについて、前記地図における前記手書き入力の範囲、及び前記手書き入力が示す文字情報に関連する施設の情報を取得し、
   前記複数の文字情報の候補のそれぞれに関連する施設の位置を、前記画面上に同時に表示させる、
   請求項１乃至５のいずれか一項に記載のプログラム。
7. 前記文字情報が、前記地図における前記手書き入力の位置に関連する言語に翻訳された情報を取得し、
   翻訳された情報を、前記画面上に表示させる、
   請求項１乃至６のいずれか一項に記載のプログラム。
8. 前記地図が表示された画面上で手書き入力された検索対象の位置の範囲を示す情報を取得し、
   前記検索対象の位置の範囲、及び前記文字情報に関連する施設の情報を取得し、
   前記地図における前記施設の位置を、前記画面上に表示させる、
   請求項１乃至７のいずれか一項に記載のプログラム。
9. コンピュータが、
   地図が表示された画面上で手書き入力を受けると、前記地図における前記手書き入力の位置に応じた座標と、前記手書き入力の筆跡に応じた文字情報とを取得する、
   処理を実行する情報処理方法。
10. 前記地図における前記手書き入力の位置に応じた範囲内の位置に対応付けられた施設の情報のうち、取得した前記文字情報に関連する施設の情報を取得し、
    取得した前記施設の情報に基づき、前記施設の位置を示す情報を、前記画面上に表示する、
    請求項９に記載の情報処理方法。
11. 前記手書き入力の筆跡を、前記手書き入力された前記画面上の位置に表示させ、
    前記手書き入力の筆跡を拡大、縮小、または移動させる操作を受けると、前記地図における当該操作後の前記手書き入力の範囲、及び前記文字情報に関連する施設の情報を再度取得する、
    請求項９または１０に記載の情報処理方法。
12. 前記手書き入力の範囲が、前記地図上の所定のオブジェクトの少なくとも一部の領域を含む場合、前記地図における当該所定のオブジェクトの領域、及び前記文字情報に関連する施設の情報を取得する、
    請求項９乃至１１のいずれか一項に記載の情報処理方法。
13. 第１の検索対象を示す第１の手書き入力、及び前記第１の検索対象とは異なる第２の検索対象を示す第２の手書き入力を取得し、
    前記地図における前記第１の手書き入力の範囲、及び前記第１の手書き入力が示す文字情報に関連する第１の施設の情報を取得し、
    前記地図における前記第２の手書き入力の範囲、及び前記第２の手書き入力が示す文字情報に関連する第２の施設の情報を取得し、
    前記第１の施設、及び前記第２の施設の位置を、前記画面上で同時に表示させる、
    請求項９乃至１２のいずれか一項に記載の情報処理方法。
14. 前記手書き入力が示す複数の文字情報の候補を取得し、
    前記複数の文字情報の候補のそれぞれについて、前記地図における前記手書き入力の範囲、及び前記手書き入力が示す文字情報に関連する施設の情報を取得し、
    前記複数の文字情報の候補のそれぞれに関連する施設の位置を、前記画面上に同時に表示させる、
    請求項９乃至１３のいずれか一項に記載の情報処理方法。
15. 前記文字情報が、前記地図における前記手書き入力の位置に関連する言語に翻訳された情報を取得し、
    翻訳された情報を、前記画面上に表示させる、
    請求項９乃至１４のいずれか一項に記載の情報処理方法。
16. 前記地図が表示された画面上で手書き入力された検索対象の位置の範囲を示す情報を取得し、
    前記検索対象の位置の範囲、及び前記文字情報に関連する施設の情報を取得し、
    前記地図における前記施設の位置を、前記画面上に表示させる、
    請求項９乃至１５のいずれか一項に記載の情報処理方法。
17. 地図が表示された画面上で手書き入力を受けると、前記地図における前記手書き入力の位置に応じた座標と、前記手書き入力の筆跡に応じた文字情報とを取得する入力部、
    を有する、情報処理装置。
18. 前記地図における前記手書き入力の位置に応じた範囲内の位置に対応付けられた施設の情報のうち、取得した前記文字情報に関連する施設の情報を取得する第１の取得部と、
    取得した前記施設の情報に基づき、前記施設の位置を示す情報を、前記画面上に表示する第１の表示制御部と、
    を有する、請求項１７に記載の情報処理装置。
19. 前記第１の表示制御部は、前記手書き入力の筆跡を、前記手書き入力された前記画面上の位置に表示させ、
    前記第１の取得部は、前記手書き入力の筆跡を拡大、縮小、または移動させる操作を受けると、前記地図における当該操作後の前記手書き入力の範囲、及び前記文字情報に関連する施設の情報を再度取得する、
    請求項１８に記載の情報処理装置。
20. 前記第１の取得部は、前記手書き入力の範囲が、前記地図上の所定のオブジェクトの少なくとも一部の領域を含む場合、前記地図における当該所定のオブジェクトの領域、及び前記文字情報に関連する施設の情報を取得する、
    請求項１８または１９のいずれか一項に記載の情報処理装置。
21. 前記入力部は、第１の検索対象を示す第１の手書き入力、及び前記第１の検索対象とは異なる第２の検索対象を示す第２の手書き入力を取得し、
    前記第１の取得部は、
    前記地図における前記第１の手書き入力の範囲、及び前記第１の手書き入力が示す文字情報に関連する第１の施設の情報を取得し、
    前記地図における前記第２の手書き入力の範囲、及び前記第２の手書き入力が示す文字情報に関連する第２の施設の情報を取得し、
    前記第１の表示制御部は、前記第１の施設、及び前記第２の施設の位置を、前記画面上で同時に表示させる、
    請求項１８乃至２０のいずれか一項に記載の情報処理装置。
22. 前記入力部は、前記手書き入力が示す複数の文字情報の候補を取得し、
    前記第１の取得部は、前記複数の文字情報の候補のそれぞれについて、前記地図における前記手書き入力の範囲、及び前記手書き入力が示す文字情報に関連する施設の情報を取得し、
    前記第１の表示制御部は、前記複数の文字情報の候補のそれぞれに関連する施設の位置を、前記画面上に同時に表示させる、
    請求項１８乃至２１のいずれか一項に記載の情報処理装置。
23. 前記入力部は、前記地図が表示された画面上で手書き入力された検索対象の位置の範囲を示す情報を取得し、
    前記検索対象の位置の範囲、及び前記文字情報に関連する施設の情報を取得する第２の取得部と、
    前記地図における前記施設の位置を、前記画面上に表示させる第２の表示制御部と、
    を有する、請求項１７乃至２２のいずれか一項に記載の情報処理装置。
24. 前記文字情報が、前記地図における前記手書き入力の位置に関連する言語に翻訳された情報を取得する第３の取得部と、
    翻訳された情報を、前記画面上に表示させる第３の表示制御部と、
    を有する、請求項１７乃至２３のいずれか一項に記載の情報処理装置。

Images