JP6244676B2 - 操作支援プログラム及び操作支援方法並びに情報処理装置 - Google Patents

Description

本発明は、操作支援プログラム及び操作支援方法並びに情報処理装置に関し、特に、操作対象の選択を支援する操作支援プログラム及び操作支援方法並びに情報処理装置に関する。

近年、タッチパネル上で手書き入力を行うタブレット端末などの手書き入力装置が普及しており、手書き入力装置では、タッチパネル上にスタイラスペンや指などをタッチしてスライドさせることにより、文字や絵、図形などのオブジェクトを手書き入力することができる。このように手書き入力したオブジェクトに対して、移動やコピー、削除、拡大／縮小などの操作を行う場合は、操作対象となるオブジェクトをペンや指などで選択することになる。

ここで、手書き入力するオブジェクトは様々であり、例えば、テキストを手書き入力した場合は、そのテキストの全部を操作対象とする場合もあれば、テキストの一部を操作対象とする場合もある。また、一群のイメージを手書き入力した場合は、一群のイメージの全部を操作対象とする場合もあれば、一群のイメージの一部を操作対象とする場合もある。そして、テキストの一部や一群のイメージの一部を操作対象とする場合、テキストや一群のイメージの構成に応じて選択可能な組み合わせは多数になるため、操作対象を適切に選択するのは容易ではない。このような背景から、操作対象となるオブジェクトの選択を容易にするための様々な技術が提案されている。

例えば、下記特許文献１には、表示部に表示されている複数のオブジェクトから、オブジェクトを選択する選択手段と、物体から前記表示部の表示画面までの遠隔操作距離を取得する距離取得手段と、遠隔操作距離とグループレベルとの対応付けを保持する保持手段と、前記取得された遠隔操作距離と前記対応付けと前記選択されたオブジェクトとに基づいて、オブジェクトをグルーピングして表示する表示制御手段を有する情報処理装置が開示されている。

特開２０１２−０３２９４５号公報

操作対象となるオブジェクトの選択を容易にする技術として、例えば、マイクロソフト（登録商標）社のパワーポイント（登録商標）のように、ユーザが操作したいオブジェクトを予めグループ化して、グループ単位でオブジェクトを選択する方法がある。また、特許文献１のように、グループを階層的に設定し（グループにレベルを設定し）、画面からの手の距離とそのレベルとを対応付けることによってオブジェクトをグループ化して、グループ単位でオブジェクトを選択する方法もある。

しかしながら、パワーポイント（登録商標）の場合は、ユーザがある基準で作成したグループが選択範囲となり、特許文献１の場合は、所定の基準で作成したグループ（遠隔操作距離に対応付けられたグループレベルに属するオブジェクトからなるグループ）が選択範囲となるため、自分の操作したい範囲でオブジェクトを選択できない場合がある。例えば、グループ内の所定のオブジェクトを選択範囲から外したり、他のグループの所定のオブジェクトを選択範囲に加えたりすることができない。また、上記基準とは異なる別の基準で作成したグループを選択範囲とするためには、ユーザは今のグループを崩して新しくグループを設定する必要があり、かえって操作に手間がかかってしまう。

すなわち、従来の方法では、選択範囲は、ある一つの基準で作成された構造に縛られるため、必ずしも所望のオブジェクトを操作対象として選択することができないという問題があった。

また、このような問題は、手書き入力装置を使用してオブジェクトを操作する場合に限らず、パーソナルコンピュータなどのコンピュータ装置を使用してオブジェクトを操作する場合においても同様に生じる。

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、ユーザが操作したい範囲を容易に選択できるように制御する操作制御プログラム及び操作制御方法並びに情報処理装置を提供することにある。

本発明の一側面は、オブジェクトを入力する操作部と、前記オブジェクトを表示する表示部と、を制御する装置で動作する操作支援プログラムであって、前記装置を、オブジェクトに対する操作を複数の操作候補の中から指定する指定部、前記指定部によって指定された操作に応じた基準に基づいて、前記オブジェクトを複数の部分に分割する処理部、前記処理部によって分割された複数の部分を、互いに識別可能に表示させる表示制御部、として機能させることを特徴とする。

本発明の一側面は、オブジェクトを入力する操作部と、前記オブジェクトを表示する表示部と、を制御する装置における操作支援方法であって、前記装置は、オブジェクトに対する操作を複数の操作候補の中から指定する第１処理と、前記第１処理によって指定された操作に応じた基準に基づいて、前記オブジェクトを複数の部分に分割する第２処理と、前記第２処理によって分割された複数の部分を、互いに識別可能に表示させる第３処理と、を実行することを特徴とする。

本発明の一側面は、オブジェクトを入力する操作部と、前記オブジェクトを表示する表示部と、を備える情報処理装置において、オブジェクトに対する操作を複数の操作候補の中から指定する指定部と、前記指定部によって指定された操作に応じた基準に基づいて、前記オブジェクトを複数の部分に分割する処理部と、前記処理部によって分割された複数の部分を、互いに識別可能に表示させる表示制御部と、を備えることを特徴とする。

本発明の操作制御プログラム及び操作制御方法並びに情報処理装置によれば、ユーザが操作したい範囲を容易に選択することができる。

その理由は、オブジェクトを入力する操作部とオブジェクトを表示する表示部とを制御する装置の制御部（操作支援プログラム）は、操作部によりオブジェクトが入力されたら、予め定めた複数の基準に基づいてオブジェクトを分割して複数の候補を抽出し、複数の候補の各々を識別可能にするマークを表示部に表示させる制御を行うからである。

本発明の一実施例に係る情報処理装置の構成を示すブロック図である。 本発明の一実施例に係る情報処理装置で処理を行う入力内容の一例を示す図である。 図２の入力内容に対する候補の例を示す図である。 図３の候補を管理する分割候補管理リストの一例である。 本発明の一実施例に係る情報処理装置で処理を行う入力内容の他の例を示す図である。 図５の入力内容に対する候補の例を示す図である。 図６の分割候補を管理する分割候補管理リストの一例である。 本発明の一実施例に係る情報処理装置の処理を示すフローチャート図である。 図２の入力内容に対する情報処理装置の処理の具体例を示す図である。 候補の他の表示例を示す図である。 候補の他の表示例を示す図である。 候補の他の表示例を示す図である。 候補の他の表示例を示す図である。 候補の他の表示例を示す図である。

背景技術で示したように、手書き入力したオブジェクトを操作する場合、操作対象となるオブジェクトを選択することになるが、テキストの一部や一群のイメージの一部を操作対象とする場合、テキストや一群のイメージの構成に応じて選択可能な組み合わせは多数になるため、操作対象を適切に選択するのは容易ではない。そこで、オブジェクトの選択を容易にするために、ユーザが操作したいオブジェクトを予めグループ化したり、グループにレベルを設定し、画面からの手の距離とそのレベルとを対応付けることによってオブジェクトをグループ化したりして、グループ単位でオブジェクトを選択する方法が用いられている。

しかしながら、これらの方法では、選択範囲は一つの基準で作られた構造に縛られるため、必ずしも所望のオブジェクトを操作対象として選択することができず、また、上記基準とは異なる別の基準で作成したグループを選択範囲とするためには、今のグループを崩して新しくグループを設定する必要があり、かえって操作に手間がかかってしまうという問題があった。

そこで、本発明の一実施の形態では、操作対象のオブジェクトの中から、ユーザが操作したい範囲を容易に選択できるようにするために、予め定めた複数の基準（好ましくは、複数の基準の中から特定した、操作に応じた２以上の基準）を用いて操作対象となるオブジェクトを分割して複数の候補を抽出して表示し、その複数の候補の中から操作したい範囲を選択できるようにする。

具体的には、複数の基準（例えば、オブジェクトがテキストの場合は、文字、単語、文節、文、段落などの複数の基準、オブジェクトがイメージの場合は、前後の入力の時間間隔、前後の入力の空間間隔などの複数の基準）を用いてオブジェクトを分割し、各々の基準で分割した複数の候補の各々を識別可能にするマークを表示し、ユーザが指定した位置に対応する候補（例えば、中心位置がユーザの指定位置に最も近い候補）を操作対象として特定し、特定した候補に対して指定された操作を実行する。

これにより、一つの基準で作られた構造に縛られず、自由な範囲でオブジェクトを選択することができ、例えば、文章を手書きした場合に、思い通りの範囲に対して操作を実行することができる。また、抽出した候補を認識可能にするマークを表示したり、操作の内容に応じた候補を表示したりすることによって、操作対象となる候補を容易に選択することができる。また、前後の入力の時間間隔や距離などの手書き入力時の情報を利用してオブジェクトを分割することにより、ユーザの意図に合致した候補を提示して適切な候補が選択できるようにすることができる。

上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る操作制御プログラム及び操作制御方法並びに情報処理装置について、図１乃至図１４を参照して説明する。図１は、本実施例の情報処理装置の構成を示すブロック図である。また、図２乃至図４は、オブジェクトとしてテキストを入力した場合の候補を説明する図であり、図５乃至図７は、オブジェクトとしてイメージ及びテキストを入力した場合の候補を説明する図である。また、図８は、本実施例の情報処理装置の処理を示すフローチャート図であり、図９は、その具体例を示す図である。また、図１０乃至図１４は、候補の表示例のバリエーションを示す図である。

本実施例の情報処理装置は、コンピュータ装置やタブレット端末、演算機能を備えた表示パネル、電子黒板などであり、図１（ａ）に示すように、制御部２０と表示部３０と操作部４０と記憶部５０などで構成される。

制御部２０は、ＣＰＵ（Central Processing Unit）２１とＲＯＭ（Read Only Memory）２２やＲＡＭ（Random Access Memory）２３などのメモリとで構成され、ＣＰＵ２１は、ＲＯＭ２２から読み出したプログラムをＲＡＭ２３に展開して実行することにより、情報処理装置１０全体の動作を制御する。また、ＲＯＭ２２は、ＣＰＵが実行するプログラムなどを格納する。ＲＡＭ２３は、ＣＰＵ２１の演算処理結果などを格納する。

この制御部２０は、図１（ｂ）に示すように、処理部２４及び表示制御部２５としても機能する。

処理部２４は、操作部４０を用いて入力された文字や図形などのオブジェクトを記憶部５０に保存する。その際、入力されたオブジェクトが手書き入力のテキストの場合は、公知のＯＣＲ（Optical Character Reader）技術を利用してテキストの内容を認識する。また、予め定められた複数の基準（クライテリアと呼ぶ。）に基づいて、入力されたオブジェクトを分割して複数の候補を抽出し、抽出した候補をクライテリアに対応付けて管理するためのリスト（後述する分割候補管理リスト）を作成して記憶部５０に保存する。また、操作部４０からの操作指示（例えば、操作指定）に従って、複数のクライテリアの中から指定された操作に対応するクライテリアを特定し、記憶部５０に保存している分割候補管理リストの中から、特定したクライテリアに対応する複数の候補を抽出し、その複数の候補を表示制御部２５に通知する。また、操作部４０からの操作指示（例えば、位置指定）に従って、表示部３０に表示されている複数の候補の中から指定された位置に対応する候補を特定し、特定した候補に対して指定された操作を実行する。

表示制御部２５は、操作部４０を用いて入力されたオブジェクトを表示部３０に表示させる。また、処理部２４から複数の候補が通知されたら、複数の候補の各々を識別可能にするためのマーク（例えば、各々の候補を囲む枠など）を表示部３０に表示させる。

なお、上記処理部２４及び表示制御部２５は、ハードウェアとして構成してもよいし、制御部２０を、処理部２４及び表示制御部２５として機能させるソフトウェア（操作支援プログラム）として構成してもよい。

表示部３０は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（electroluminescence）ディスプレイなどで構成され、表示制御部２５の指示に従って、入力されたオブジェクトやオブジェクトを分割した複数の候補の各々を識別可能にするマークなどを表示する。

操作部４０は、情報処理装置１０がタブレット端末などの場合は、表示部３０上に配置された格子状の電極からなるタッチセンサやハードキーなどで構成される。また、情報処理装置１０がコンピュータ装置の場合は、マウスやキーボードなどで構成される。そして、操作部４０は、オブジェクトの入力指示やオブジェクトに対する操作の指定、候補を選択するための位置の指定などを受け付ける。

記憶部５０は、メモリやＨＤＤ（Hard Disk Drive）などで構成され、入力されたオブジェクトやオブジェクトを複数の候補に分割するためのクライテリア、複数のクライテリアに基づいて分割した複数の候補、複数の候補をクライテリアに対応付けて管理するための分割候補管理リストなどを記憶する。

なお、本実施例では、情報処理装置１０に表示部３０及び操作部４０を備える構成とするが、情報処理装置１０には表示部３０を設けず、情報処理装置１０の操作部で操作した結果を外部の表示装置に表示させるようにしてもよいし、情報処理装置１０には表示部３０及び操作部４０を設けず、情報処理装置１０では操作及び表示の制御のみを行うようにしてもよい。

以下、本実施例の情報処理装置１０の処理について説明する。なお、以下では、情報処理装置１０としてタッチパネルを備える手書き入力装置を前提として説明するが、タッチパネルを備えていないコンピュータ装置に対しても同様に適用することができる。

まず、複数のクライテリアに基づいて入力されたオブジェクトを複数の候補に分割する方法について、具体例を挙げて説明する。

図２は入力されたオブジェクトの一例であり、操作部４０を用いて表示部３０のワークスペースにオブジェクト（ここでは、「今日の天気は晴れ」というテキスト）が入力されたとする。このオブジェクトに対して、制御部２０（処理部２４）は、公知のＯＣＲ技術を利用してテキストの内容を認識し、認識したテキストを複数のクライテリアに基づいて複数の候補に分割する。ここでは、複数のクライテリアとして、文字、単語、文節、文、段落の５つを用いる。

具体的には、図３に示すように、制御部２０（処理部２４）は、オブジェクトを文字で分割する場合は、「今」、「日」、「の」、「天」、「気」、「は」、「晴」、「れ」の８つの候補を抽出する。また、オブジェクトを単語で分割する場合は、「今日」、「の」、「天気」、「は」、「晴れ」の５つの候補を抽出する。また、オブジェクトを文節で分割する場合は、「今日の」、「天気は」、「晴れ」の３つの候補を抽出する。また、オブジェクトを文で分割する場合は、「今日の天気」、「天気は晴れ」、「今日の天気は晴れ」の３つの候補を抽出する。また、オブジェクトを段落で分割する場合は、「今日の天気は晴れ」の１つの候補を抽出する。

ここで、従来の手法では、１つの基準に基づいてオブジェクトを分割しているため、候補が競合する（同じ文字が複数の候補に使用される）ことはないが、本実施例の手法では、複数の基準に基づいてオブジェクトを分割しているため、候補が競合する。そこで、制御部２０（表示制御部２５）は、各々の候補を認識可能にするために、各々の候補を囲む枠などのマークを表示部３０に表示させる。

図４は、上記複数のクライテリアを用いて分割した複数の候補を管理するリストであり、制御部２０（処理部２４）は、ワークスペースの内容が更新される（入力や操作が行われる）度に、分割した候補とクライテリアとを対応付ける分割候補管理リストを作成し、記憶部５０に記憶する。なお、図４では、分割候補管理リストに、対応するストロークの欄を設けているが、この欄は本発明の理解を容易にするために記載したものであり、分割候補管理リストには、少なくともクライテリアの種別と候補を特定する情報とを含んでいればよい。また、図４では、候補を特定する情報としてストローク番号を記載しているが、各々の文字のＪＩＳコードなどを記載してもよい。

図２乃至図４では、オブジェクトとしてテキストが入力された場合を示したが、入力されたオブジェクトにイメージを含む場合は、図５乃至図７のように候補を抽出することができる。

例えば、図５に示すように、操作部４０を用いて表示部３０のワークスペースに、右矢印のイメージと四角のイメージとを続けて入力し、所定の時間（例えば、３０秒）を空けて「ストローク情報で区切る」というテキストが入力されたとする。このようなイメージを含むオブジェクトが入力された場合は、制御部２０（処理部２４）は、必要に応じて、公知のＯＣＲ技術を用いてテキストの内容を認識した後、複数のクライテリア（ここでは、前後の入力の時間間隔と前後の入力の距離）を用い、時間間隔が基準値（例えば、１０秒）となる時点、距離（空間間隔）が基準値（例えば、１０ｍｍ）となる位置を切れ目として複数の候補に分割する。なお、上記基準値は任意で設定可能であり、ユーザの以前のオブジェクトの入力履歴に応じて適宜設定可能である。

具体的には、図６に示すように、制御部２０（処理部２４）は、オブジェクトを時間間隔で分割する場合は、右矢印及び四角のイメージと、「ストローク情報で区切る」のテキストの２つの候補を抽出する。また、オブジェクトを距離で分割する場合は、右矢印のイメージと、四角のイメージ及び「ストローク情報で区切る」のテキストの２つの候補を抽出する。そして、制御部２０（表示制御部２５）は、各々の候補を認識可能にするためのマーク（各々の候補を囲む枠）を表示部３０に表示させる。

図７は、上記複数のクライテリアを用いて分割した複数の候補を管理するリストであり、制御部２０（処理部２４）は、ワークスペースの内容が更新される（入力や操作が行われる）度に、分割した候補とクライテリアとを対応付ける分割候補管理リストを作成し、記憶部５０に記憶する。なお、ここでも、分割候補管理リストに、対応するストロークの欄を設けているが、分割候補管理リストには少なくともクライテリアの種別と候補を特定する情報とを含んでいればよい。また、図７では、候補を特定する情報としてストローク番号を記載しているが、各々のオブジェクトの画面上の座標などを記載してもよい。

上記図２乃至図７は、オブジェクトを複数の候補に分割する手法の一例であり、複数のクライテリアを用いてオブジェクトを複数の候補に分割する限りにおいて、オブジェクトの種類、クライテリアの内容、候補の構成などは任意に設定可能である。

例えば、図２乃至図４では、テキストオブジェクトが入力された場合を示し、図５乃至図７では、イメージとテキストが混在するオブジェクトが入力された場合を示したが、イメージのみからなるオブジェクトが入力された場合や、テキストに重なるようにイメージが入力された場合などに対しても、同様の手順で候補に分割することができる。また、図２乃至図４では、文字、単語、文節、文、段落の５つのクライテリアを用い、図５乃至図７では、前後の入力の時間間隔と距離の２つのクライテリアを用いたが、例えば、テキストが複数行にわたって入力された場合などには、文字、単語、文節、文、段落のみならず、前後の入力の時間間隔や距離を加味して複数の候補に分割してもよい。

また、図５乃至図７では、前後の入力の時間間隔と距離を別々のクライテリアとしたが、前後の入力の時間間隔と距離とを複合したクライテリアを用いても複数の候補に分割してもよいし、前後の入力の時間間隔と距離の基準値として、複数の基準値（例えば、時間間隔として１０秒と１分、距離として１０ｍｍと２０ｍｍなど）を設けて複数の候補に分割してもよい。

また、図４及び図７では、分割候補管理リストにクライテリアに基づいて分割した複数の候補のみを記載したが、これらの加えて、ユーザが任意にオブジェクトを分割した候補を加えても良い。例えば、図２の例では、「今日の天気は」という候補を加えたり、図７の例では、右矢印と「ストローク情報で区切る」とを組み合わせた候補を加えたりしてもよい。

次に、本実施例の情報処理装置１０の処理について説明する。制御部２０のＣＰＵ２１は、ＲＯＭ２２に記憶した操作支援プログラムをＲＡＭ２３に展開して実行することにより、図８のフローチャートに示す処理を実行する。なお、以下の説明において、操作の対象となるオブジェクトは操作部４０を用いて入力（例えば、タッチパネルを用いて手書き若しくはマウス及びキーボードを用いて入力）されているものとする。また、必要に応じて、予め定めた複数のクライテリアに基づいて、入力されたオブジェクトを分割して複数の候補を抽出し、複数の候補とクライテリアとを対応付ける分割候補管理リストを作成して記憶部５０に記憶しているものとする。

まず、ユーザは操作部４０を操作して、オブジェクトに対して行う操作を指定する。この操作の指定方法は特に限定されず、例えば、情報処理装置１０がタッチパネルを備えるタブレット端末などの場合は、タッチパネルに表示されるキーの中から所望の操作に対応するキーを選択したり、ハードキーなどを操作して所望の操作を選択したりすることができる。また、情報処理装置１０がコンピュータ装置の場合は、マウスの右クリックで操作内容が一覧表示されるウィンドウを表示して、その中から所望の操作を選択したり、キーボードのキーの中から所望の操作に対応するキーを選択したりすることができる。そして、制御部２０（処理部２４）は、操作部４０から出力される信号に基づいて、ユーザが指定した操作内容を認識する（Ｓ１０１）。

次に、制御部２０（処理部２４）は、ユーザが指定した操作内容がオブジェクトの「移動」であるか、オブジェクトの「コピー」であるかを判断する（Ｓ１０２）。なお、ここでは、操作内容として「移動」と「コピー」の２つを例示するが、オブジェクトに対して実行可能な操作であればよく、例えば、「削除」や「拡大」、「縮小」などの操作として良い。

そして、制御部２０（処理部２４）は、操作内容に対応する２以上のクライテリアに基づいてオブジェクトを分割して候補をすべて抽出する。例えば、操作内容が「移動」の場合は、「移動」に対応するクライテリアとして「文節」、「文」、「段落」が予め指定されているとすると、記憶部５０に保存した分割候補管理リストの中から、「文節」、「文」、「段落」の各々に基づいて分割した候補を抽出する（Ｓ１０３）。また、操作内容が「コピー」の場合は、「コピー」に対応するクライテリアとして「単語」、「文節」、「文」、「段落」が指定されているとすると、記憶部５０に保存した分割候補管理リストの中から、「単語」、「文節」、「文」、「段落」の各々に基づいて分割した候補を抽出する（Ｓ１０４）。

なお、本実施例では、予め定めたクライテリアに基づいてオブジェクトを分割して分割候補管理リストを作成しておき、オブジェクトに対する操作が指定されたら、分割候補管理リストの中から、その操作に対応する２以上のクライテリアに基づいて分割した候補を抽出しているが、操作が指定される前には候補の抽出は行わず、操作が指定されてから、その操作に対応するクライテリアに基づいて候補を抽出するようにしてもよい。

そして、制御部２０（表示制御部２５）は、抽出した複数の候補の各々を識別可能にするマークを表示部３０の画面に表示させる（Ｓ１０５）。

ここまでの処理について、図９を参照して具体的に説明する。例えば、図９（ａ）に示すように、「今日の天気は晴れ」というテキストオブジェクトが入力された場合、まず、図２乃至図４に示すように、そのオブジェクトを「文字」、「単語」、「文節」、「文」、「段落」の５つのクライテリアに基づいて分割して複数の候補を抽出し、複数の候補をクライテリアに対応付けて分割候補管理リストに登録する。

そして、入力されたオブジェクトに対して、「移動」の操作が指定された場合は、図９（ｂ）の左側に示すように、分割候補管理リストの中から、「文節」の候補として「今日の」と「天気は」と「晴れ」の３つの候補を抽出し、「文」の候補として、「今日の天気」と「天気は晴れ」と「今日の天気は晴れ」の３つの候補を抽出し、「段落」の候補として「今日の天気は晴れ」の１つの候補を抽出し、計７個（重複する候補を除くと６個）の候補の各々を識別可能にするためのマーク（候補の周囲を囲む枠など）を表示して、特に、競合する候補（ここでは、「今日の天気」と「天気は晴れ」）を識別しやすくする。

また、入力されたオブジェクトに対して、「コピー」の操作が指定された場合は、図９（ｂ）の右側に示すように、「単語」の候補として、「今日」と「の」と「天気」と「は」と「晴れ」の５つの候補を抽出し、「文節」の候補として「今日の」と「天気は」と「晴れ」の３つの候補を抽出し、「文」の候補として、「今日の天気」と「天気は晴れ」と「今日の天気は晴れ」の３つの候補を抽出し、「段落」の候補として「今日の天気は晴れ」の１つの候補を抽出し、計１２個（重複する候補を除くと１０個）の候補の各々を識別可能にするためのマーク（候補の周囲を囲む枠など）を表示して、特に、競合する候補（ここでも、「今日の天気」と「天気は晴れ」）を識別しやすくする。

図８のフローチャート図に戻って、ユーザは操作部４０を操作して候補を選択する基準となる位置を指定する。この位置の指定方法も特に限定されず、例えば、情報処理装置１０がタッチパネルを備えるタブレット端末などの場合は、タッチパネルにペンや指でタッチすることによって位置を指定することができ、情報処理装置１０がコンピュータ装置の場合は、マウスを移動させて左クリックすることにより位置を指定することができる。そして、制御部２０（処理部２４）は、操作部４０から出力される信号に基づいて、ユーザが指定した位置を特定し、その位置に対応する候補（例えば、その位置から最も中心が近い候補）を操作対象として特定する（Ｓ１０６）。

例えば、図９（ｃ）の左側に示すように、「日」の近傍をユーザが指定した場合、複数の候補の内、中心位置がその指定位置に最も近いのは「今日の」という候補であるため、その候補（図の太枠で示す候補）を操作対象として特定する。一方、図９（ｃ）の右側に示すように、同様に「日」の近傍をユーザが指定した場合、複数の候補の内、中心位置がその指定位置に最も近いのは「今日」という候補であるため、その候補（図の太枠で示す候補）を操作対象として特定する。

なお、ここでは、ユーザが指定した位置から最も中心が近い候補を操作対象として特定する場合を示したが、候補の特定方法は上記方法に限定されず、例えば、ユーザが指定した位置から枠が最も近い候補を操作対象として選択するなど、他のルールで候補を特定しても良い。

再び、図８のフローチャート図に戻って、制御部２０（処理部２４）は、操作対象として特定した候補に対して、ユーザに指定された操作を実行する（Ｓ１０７）。例えば、図９（ｄ）の左側に示すように、操作内容が「移動」の場合は、「今日の」という候補が操作対象として特定されるため、その候補を指定された位置（タッチされた位置やマウスで指定された位置）に移動させる操作を実行する。一方、図９（ｄ）の右側に示すように、操作内容が「コピー」の場合は、「今日」という候補が操作対象として特定されるため、その候補を指定された位置にコピーする操作を実行する。

このように、本実施例の情報処理装置１０は、複数のクライテリア（好ましくは、ユーザが指定した操作に応じた２以上のクライテリア）に基づいてオブジェクトを分割して複数の候補を抽出し、その複数の候補の各々に枠などのマークを付加して識別可能に表示し、ユーザが指定した位置に基づいて、表示されている複数の候補の中から所定の候補を特定し、特定した候補に対して指定された操作を実行する制御を行うため、ユーザの意図に合致するようにオブジェクトを操作することができる。

上記説明では、複数の候補の各々を識別可能に表示するために、複数のクライテリアに基づいて抽出した複数の候補を枠で囲んで表示したが、複数の候補が識別可能であれば、その表示形態は適宜変更可能である。図１０乃至図１４は、候補の表示方法のバリエーションを示しており、各々の図の（ａ）は指定された操作が「移動」の場合の例、（ｂ）は指定された操作が「コピー」の場合の例である。

例えば、図１０に示すように、候補の下側に線を引いて各々の候補を識別可能にしてもよい。また、線を引いて各々の候補を識別可能にする場合において、候補の数が多い場合は、図１１に示すように、候補の上側及び下側に線を引いて各々の候補を識別しやすくしてもよいし、図１２に示すように、クライテリアの種類に応じて線の種類を変更して各々の候補を識別しやすくしてもよい。また、候補の範囲を分かりやすくするために、図１３に示すように、線の始点及び終点を強調した図形を用いて各々の候補を識別可能にしてもよいし、図１４に示すように、種類の異なる括弧（「」や（）、｛｝、［］など）を用いて各々の候補を識別可能にしてもよい。

また、上記実施例では、指定された操作に対応する複数のクライテリアに基づいて分割した候補の全てに対してマークを表示したが、例えば、操作対象となる候補を特定した際に、その候補を抽出するために使用したクライテリアを記憶しておき、その後に操作対象となる候補を特定する際に、複数のクライテリアの中から使用頻度の高いクライテリアを選択し、選択したクライテリアに基づいて分割した候補に対してのみマークを表示するなど、履歴情報に基づいてユーザに適した候補を選択しやすくしてもよい。例えば、あるユーザはコピー操作に際してクライテリアとして「文節」と「文」を使用する頻度が高い場合は、「文節」と「文」に基づいて抽出した候補に対してのみマークを表示するようにしても良い。

また、複数のクライテリアの中から順番にクライテリアを選択し、選択した個々のクライテリアに基づいて分割した候補に対してマークを表示するなど、マークをクライテリア毎に順番に表示して、複数の候補をより識別しやすくしてもよい。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、情報処理装置の構成や制御部の処理は適宜変更可能である。

例えば、上記実施例では、手書き入力したオブジェクトを複数のクライテリアに基づいて複数の候補に分割する場合について説明したが、キーボードを用いて入力したオブジェクトや電子データとして入力したオブジェクトを複数の候補に分割する場合に対しても、本発明の手法を同様に適用することができる。

本発明は、オブジェクトの入力及び表示が可能なコンピュータ装置やタブレット端末、演算機能を備えた表示パネル、電子黒板などの装置、及び、当該装置を用いた制御方法、並びに、当該装置で動作するプログラムやそのプログラムを記録した記録媒体に利用可能である。

１０ 情報処理装置
２０ 制御部
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ 処理部
２５ 表示制御部
３０ 表示部
４０ 操作部
５０ 記憶部

Claims (24)

1. オブジェクトを入力する操作部と、前記オブジェクトを表示する表示部と、を制御する装置で動作する操作支援プログラムであって、
   前記装置を、
   オブジェクトに対する操作を複数の操作候補の中から指定する指定部、
   前記指定部によって指定された操作に応じた基準に基づいて、前記オブジェクトを複数の部分に分割する処理部、
   前記処理部によって分割された複数の部分を、互いに識別可能に表示させる表示制御部、として機能させる、
   ことを特徴とする操作支援プログラム。
2. 前記装置を、更に、
   前記処理部によって分割された複数の部分から選択された部分に対して、前記指定部によって指定された操作を適用する実行部、として機能させる、
   ことを特徴とする請求項１に記載の操作支援プログラム。
3. 前記実行部は、前記処理部によって分割されたオブジェクト上の指定された位置に基づいて選択された部分に対して、前記指定部によって指定された操作を実行する、
   ことを特徴とする請求項２に記載の操作支援プログラム。
4. 前記処理部は、前記指定部によって指定された操作に応じた複数の基準に基づいて、前記オブジェクトを複数の部分に分割する、
   ことを特徴とする請求項１乃至３のいずれか一に記載の操作支援プログラム。
5. 前記処理部は、前記オブジェクトがテキストの場合は、文字、単語、文節、文、段落の中から選択される複数の要素に基づいて前記オブジェクトを分割する、
   ことを特徴とする請求項４に記載の操作支援プログラム。
6. 前記処理部は、前記オブジェクトがイメージを含む場合は、前後の入力の時間間隔及び／又は前後の入力の距離に基づいて前記オブジェクトを分割する、
   ことを特徴とする請求項４に記載の操作支援プログラム。
7. 前記操作は、前記オブジェクトの移動及び前記オブジェクトのコピーを含み、
   前記処理部は、
   前記オブジェクトがテキストであり、前記操作が前記オブジェクトの移動の場合は、文節と文と段落とに基づいて前記オブジェクトを分割し、
   前記オブジェクトがテキストであり、前記操作が前記オブジェクトのコピー場合は、単語と文節と文と段落とに基づいて前記オブジェクトを分割する、
   ことを特徴とする請求項４に記載の操作支援プログラム。
8. 前記操作部は、前記表示部上に配置されたタッチセンサであり、
   前記オブジェクトは、前記タッチセンサに手書きで入力された手書きオブジェクトである、
   ことを特徴とする請求項１乃至７のいずれか一に記載の操作支援プログラム。
9. オブジェクトを入力する操作部と、前記オブジェクトを表示する表示部と、を制御する装置における操作支援方法であって、
   前記装置は、
   オブジェクトに対する操作を複数の操作候補の中から指定する第１処理と、
   前記第１処理によって指定された操作に応じた基準に基づいて、前記オブジェクトを複数の部分に分割する第２処理と、
   前記第２処理によって分割された複数の部分を、互いに識別可能に表示させる第３処理と、を実行する、
   ことを特徴とする操作支援方法。
10. 前記装置に、更に、
    前記第２処理によって分割された複数の部分から選択された部分に対して、前記第１処理によって指定された操作を適用する第４処理を実行する、
    ことを特徴とする請求項９に記載の操作支援方法。
11. 前記第４処理では、前記第２処理によって分割されたオブジェクト上の指定された位置に基づいて選択された部分に対して、前記第１処理によって指定された操作を実行する、
    ことを特徴とする請求項１０に記載の操作支援操作支援方法。
12. 前記第２処理では、前記第１処理によって指定された操作に応じた複数の基準に基づいて、前記オブジェクトを複数の部分に分割する、
    ことを特徴とする請求項９乃至１１のいずれか一に記載の操作支援方法。
13. 前記第２処理では、前記オブジェクトがテキストの場合は、文字、単語、文節、文、段落の中から選択される複数の要素に基づいて前記オブジェクトを分割する、
    ことを特徴とする請求項１２に記載の操作支援方法。
14. 前記第２処理では、前記オブジェクトがイメージを含む場合は、前後の入力の時間間隔及び／又は前後の入力の距離に基づいて前記オブジェクトを分割する、
    ことを特徴とする請求項１２に記載の操作支援プログラム。
15. 前記操作は、前記オブジェクトの移動及び前記オブジェクトのコピーを含み、
    前記第２処理では、
    前記オブジェクトがテキストであり、前記操作が前記オブジェクトの移動の場合は、文節と文と段落とに基づいて前記オブジェクトを分割し、
    前記オブジェクトがテキストであり、前記操作が前記オブジェクトのコピー場合は、単語と文節と文と段落とに基づいて前記オブジェクトを分割する、
    ことを特徴とする請求項１２に記載の操作支援方法。
16. 前記操作部は、前記表示部上に配置されたタッチセンサであり、
    前記オブジェクトは、前記タッチセンサに手書きで入力された手書きオブジェクトである、
    ことを特徴とする請求項９乃至１５のいずれか一に記載の操作支援方法。
17. オブジェクトを入力する操作部と、前記オブジェクトを表示する表示部と、を備える情報処理装置において、
    オブジェクトに対する操作を複数の操作候補の中から指定する指定部と、
    前記指定部によって指定された操作に応じた基準に基づいて、前記オブジェクトを複数の部分に分割する処理部と、
    前記処理部によって分割された複数の部分を、互いに識別可能に表示させる表示制御部と、を備える、
    ことを特徴とする情報処理装置。
18. 前記処理部によって分割された複数の部分から選択された部分に対して、前記指定部によって指定された操作を適用する実行部をさらに備える、
    ことを特徴とする請求項１７に記載の情報処理装置。
19. 前記実行部は、前記処理部によって分割されたオブジェクト上の指定された位置に基づいて選択された部分に対して、前記指定部によって指定された操作を実行する、
    ことを特徴とする請求項１８に記載の情報処理装置。
20. 前記処理部は、前記指定部によって指定された操作に応じた複数の基準に基づいて、前記オブジェクトを複数の部分に分割する、
    ことを特徴とする請求項１７乃至１９のいずれか一に記載の情報処理装置。
21. 前記処理部は、前記オブジェクトがテキストの場合は、文字、単語、文節、文、段落の中から選択される複数の要素に基づいて前記オブジェクトを分割する、
    ことを特徴とする請求項２０に記載の情報処理装置。
22. 前記処理部は、前記オブジェクトがイメージを含む場合は、前後の入力の時間間隔及び／又は前後の入力の距離に基づいて前記オブジェクトを分割する、
    ことを特徴とする請求項２０に記載の情報処理装置。
23. 前記操作は、前記オブジェクトの移動及び前記オブジェクトのコピーを含み、
    前記処理部は、
    前記オブジェクトがテキストであり、前記操作が前記オブジェクトの移動の場合は、文節と文と段落とに基づいて前記オブジェクトを分割し、
    前記オブジェクトがテキストであり、前記操作が前記オブジェクトのコピー場合は、単語と文節と文と段落とに基づいて前記オブジェクトを分割する、
    ことを特徴とする請求項２０に記載の情報処理装置。
24. 前記操作部は、前記表示部上に配置されたタッチセンサであり、
    前記オブジェクトは、前記タッチセンサに手書きで入力された手書きオブジェクトである、
    ことを特徴とする請求項１７乃至２３のいずれか一に記載の情報処理装置。

Images