JP5255483B2 - Method, apparatus and program for facilitating object selection - Google Patents

Method, apparatus and program for facilitating object selection Download PDF

Info

Publication number
JP5255483B2
JP5255483B2 JP2009043737A JP2009043737A JP5255483B2 JP 5255483 B2 JP5255483 B2 JP 5255483B2 JP 2009043737 A JP2009043737 A JP 2009043737A JP 2009043737 A JP2009043737 A JP 2009043737A JP 5255483 B2 JP5255483 B2 JP 5255483B2
Authority
JP
Japan
Prior art keywords
extracted
point
evaluation
display screen
evaluation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009043737A
Other languages
Japanese (ja)
Other versions
JP2010198433A (en
Inventor
芳雄 堀内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP2009043737A priority Critical patent/JP5255483B2/en
Publication of JP2010198433A publication Critical patent/JP2010198433A/en
Application granted granted Critical
Publication of JP5255483B2 publication Critical patent/JP5255483B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、オブジェクトの選択に関するものであり、特に、表示画面上に表示されている複数のオブジェクトの中から所望のオブジェクトを容易に選択するための方法、装置およびプログラムに関するものである。   The present invention relates to object selection, and more particularly to a method, apparatus, and program for easily selecting a desired object from a plurality of objects displayed on a display screen.

ワードプロセッサ、WYSIWYG型のHTMLエディタ、グラフィックツールなどのツールでは、オブジェクトのコピー、切り取り、貼り付け、削除、属性値の変更等の編集作業を行うためにオブジェクトを「選択」する必要があり、そのための一番簡単な方法としてマウスクリックによる選択が行われる。しかし、例えばWebページのように、オブジェクトが多数配置されていて重なり合っている場合には、所望のオブジェクトをクリックで簡単に選択できないことがある。そこで、そのように複雑にオブジェクトが配置されたケースでも、目的とするオブジェクトを簡単に選択できる方法が望まれる。   In tools such as word processors, WYSIWYG type HTML editors, graphic tools, etc., it is necessary to “select” an object in order to perform editing operations such as copying, cutting, pasting, deleting, and changing attribute values. The simplest way is to select with a mouse click. However, when a large number of objects are arranged and overlap each other as in a Web page, for example, a desired object may not be easily selected by clicking. Therefore, a method that can easily select a target object is desired even in such a case where objects are arranged in a complicated manner.

表示画面上に複雑に配置されたオブジェクトの選択を可能にする手法として、IBM(R)ホームページ・ビルダー(R)に含まれるウェブアートデザイナーのオブジェクトスタック(非特許文献1)、およびAdobe(R) Photoshop(R)のレイヤーパレット(非特許文献2)が知られている。オブジェクトスタックおよびレイヤーパレットは、表示画面上に配置された全オブジェクトに対応するアイテムを選択のために、編集画面とは別の特定の場所(オブジェクトスタックまたはレイヤーパレット)に一覧表示するものである。一覧表示では、各アイテムは対応するオブジェクトの重なりの順に表示され、その中の特定のアイテムをクリックすると、対応するオブジェクトが選択状態になる。これとは別に、オブジェクト要素をツリー形式で表示して、ツリー上の要素をクリックすることによって、エディタ上で対応するオブジェクトを選択するようにした技術も知られている。   Web art designer object stack (Non-patent Document 1) and Adobe (R) included in IBM (R) Homepage Builder (R) as a method for enabling selection of objects arranged in a complicated manner on the display screen A layer palette (Photo 2) of Photoshop (R) is known. The object stack and the layer palette are used to list items corresponding to all the objects arranged on the display screen in a specific place (object stack or layer palette) different from the editing screen. In the list display, each item is displayed in the order in which the corresponding objects overlap, and when a specific item is clicked, the corresponding object is selected. In addition to this, there is also known a technique in which object elements are displayed in a tree format and a corresponding object is selected on an editor by clicking an element on the tree.

上述の従来技術はいずれも全オブジェクトを一覧表示するものであるが、所定の条件を満たすオブジェクトだけを抽出して一覧表示する技術も知られている(特許文献1)。この公知技術では、視点とカーソル位置とを結ぶ直線が透過するオブジェクトが選択候補オブジェクトとして抽出され、一覧ダイアログに一覧表示される。
特開2002−366974号公報 「ウェブアートデザイナーでオブジェクトを同時に複数選択する方法について」(http://www-06.ibm.com/jp/domino01/swhc/esupport.nsf/all/hpb0720) 「レイヤーパレットの概要」(http://help.adobe.com/ja_JP/Photoshop/10.0/help.html?content=WSfd1234e1c4b69f30ea53e41001031ab64-78e1.html)
Although all the above-described conventional techniques display all objects in a list, a technique for extracting and displaying only objects satisfying a predetermined condition is also known (Patent Document 1). In this known technique, an object through which a straight line connecting the viewpoint and the cursor position passes is extracted as a selection candidate object and displayed as a list in a list dialog.
JP 2002-366974 A “How to select multiple objects simultaneously in Web Art Designer” (http://www-06.ibm.com/jp/domino01/swhc/esupport.nsf/all/hpb0720) "Layer palette overview" (http://help.adobe.com/en_US/Photoshop/10.0/help.html?content=WSfd1234e1c4b69f30ea53e41001031ab64-78e1.html)

全オブジェクトを一覧表示する手法では、一覧表示の場所が編集画面とは別の場所であるため、その場所と選択されたオブジェクトが離れていた場合は、比較的長いマウス移動距離が必要となる。また、一覧表示の形態が編集画面におけるオブジェクトの実際の表示形態を示すものではないので、各オブジェクトが編集画面上でどのような位置関係にあるのかがわかりにくい。更に、全オブジェクトを一覧表示しているため、オブジェクトの数が多くなると、所望のオブジェクトを選ぶのに手間が掛かる場合がある。特許文献1の手法では、そのような手間は掛からないかもしれないが、視点とカーソル位置を結ぶ直線がオブジェクトを透過すかどうかで選択候補を決めているため、大きなオブジェクトの後ろに隠れている小さなオブジェクトを選択候補に加えたい場合は、何回かのクリック操作を必要とするであろう。更に、特許文献1の手法では、カーソル位置と重なっていないオブジェクトを選択肢に加えることはできない。   In the method of displaying all objects as a list, the place of the list display is a place different from the editing screen. Therefore, if the place is away from the selected object, a relatively long mouse movement distance is required. In addition, since the list display form does not indicate the actual display form of the objects on the editing screen, it is difficult to understand the positional relationship of the objects on the editing screen. Further, since all objects are displayed in a list, it may take time to select a desired object when the number of objects increases. The technique of Patent Document 1 may not require such effort, but since the selection candidate is determined by whether or not the straight line connecting the viewpoint and the cursor position passes through the object, the small object hidden behind the large object is small. If you want to add an object to the selection, you will need to click several times. Furthermore, with the method of Patent Document 1, an object that does not overlap the cursor position cannot be added to the option.

従って、本発明の目的は、上述のような課題を解決するオブジェクト選択を実現することにある。   Accordingly, an object of the present invention is to realize object selection that solves the above-described problems.

本発明によれば、コンピュータの表示画面上でオブジェクトの選択を容易にするための方法であって、前記表示画面上においてユーザにより指定されたポイントを特定するステップと、前記表示画面に表示されている複数のオブジェクトのうち、前記ポイントの近傍に位置するオブジェクトを抽出するステップと、前記抽出するステップが抽出したオブジェクト(以下、抽出オブジェクト)を各該抽出オブジェクトの属性に基づいて評価するステップと、前記抽出オブジェクトをそれらの評価結果に応じて順位付けし、ユーザによる選択が可能な形態で前記ポイントの近傍に一覧表示すると共に、最も評価結果の高い抽出オブジェクトを仮選択状態にするステップと、を含む方法が提供される。更に、この方法を実現するための装置、およびこの方法をコンピュータに実行させるためのプログラムも提供される。   According to the present invention, there is provided a method for facilitating selection of an object on a display screen of a computer, the step of identifying a point designated by a user on the display screen, and a display on the display screen. A step of extracting an object located in the vicinity of the point among a plurality of objects, and a step of evaluating an object extracted by the extracting step (hereinafter referred to as an extracted object) based on an attribute of each extracted object; Ranking the extracted objects according to their evaluation results, listing them in the vicinity of the points in a form that can be selected by the user, and placing the extracted objects with the highest evaluation results in a provisional selection state; A method of including is provided. Furthermore, an apparatus for realizing this method and a program for causing a computer to execute this method are also provided.

好ましくは、一覧表示では、各抽出オブジェクトが例えばアイコンの形で簡略表示され、簡略表示された特定の抽出オブジェクトの上にポインタが重なったときに、その簡略表示オブジェクトの実体、すなわち表示画面上に表示されている実際のオブジェクトが強調表示される。そして、特定の抽出オブジェクトが強調表示されている状態でユーザにより確定操作(例えば、マウスボタンのクリックまたはEnterキーの押し下げ)が行われると、その特定の抽出オブジェクトの選択が確定される。また、最も評価結果の高いオブジェクトが仮選択状態にあるときにユーザにより確定操作が行われると、その抽出オブジェクトの選択が確定される。   Preferably, in the list display, each extracted object is simply displayed in the form of an icon, for example, and when the pointer is over the specific extracted object that is simply displayed, the substance of the simplified display object, that is, the display screen is displayed. The actual object being displayed is highlighted. When the user performs a confirming operation (for example, clicking a mouse button or pressing the Enter key) while the specific extracted object is highlighted, the selection of the specific extracted object is confirmed. If the user performs a confirmation operation when the object having the highest evaluation result is in the temporary selection state, the selection of the extracted object is confirmed.

抽出するステップは、好ましくは、ユーザにより指定されたポイント(以下、指定ポイント)と、表示画面上に表示されている各オブジェクトとの距離を算出して、指定ポイントを内包するオブジェクトを含む、算出距離が所定の閾値以下のオブジェクトを抽出する。   Preferably, the extracting step includes calculating the distance between a point specified by the user (hereinafter referred to as a specified point) and each object displayed on the display screen, and includes an object containing the specified point. An object whose distance is equal to or smaller than a predetermined threshold is extracted.

評価するステップは、好ましくは、指定ポイントと各抽出オブジェクトの特徴部分との距離、該特徴部分の種類、および各抽出オブジェクトの画像的性質のうちの少なくとも1つ基づいて各抽出オブジェクトの評価値を算出する。特徴部分は、例えば各抽出オブジェクトの不透明部分であり、指定ポイントと不透明部分との距離が近いほど評価値を高くしてよい。特徴部分の種類は、テキスト、前景画像および背景画像を含み、それらを予め指定した順序に従って、各抽出オブジェクトの評価値を算出してよい。画像的性質は各抽出オブジェクトの透明度を含み、該透明度が低いほど評価値を高くしてよい。また、画像的性質として、各抽出オブジェクトの周波数成分に着目して、高周波成分があるほど評価値を高くしてもよい。   The step of evaluating preferably evaluates the evaluation value of each extracted object based on at least one of the distance between the designated point and the characteristic portion of each extracted object, the type of the characteristic portion, and the image property of each extracted object. calculate. The characteristic portion is, for example, an opaque portion of each extracted object, and the evaluation value may be increased as the distance between the designated point and the opaque portion is shorter. The types of feature portions include text, foreground images, and background images, and the evaluation value of each extracted object may be calculated in the order in which they are specified in advance. The image property includes the transparency of each extracted object, and the evaluation value may be higher as the transparency is lower. Further, as an image property, focusing on the frequency component of each extracted object, the evaluation value may be made higher as there is a higher frequency component.

評価するステップは、指定ポイントと各抽出オブジェクトの特徴部分との距離、該特徴部分の種類、および各抽出オブジェクトの画像的性質のうちの少なくとも2つ基づいて各抽出オブジェクトの評価値を算出してもよい。その場合、それぞれの評価値を重み付けした値の総和を各抽出オブジェクトの評価値とするのが好ましい。   The evaluating step calculates an evaluation value of each extracted object based on at least two of the distance between the designated point and the characteristic portion of each extracted object, the type of the characteristic portion, and the image property of each extracted object. Also good. In this case, it is preferable that the sum of values obtained by weighting the respective evaluation values be the evaluation value of each extracted object.

以下、図面を参照しながら、本発明を実施するための最良の形態(以下、単に実施形態という)について説明するが、実施形態の説明はあくまでも例示のためにのみなされるものであって、本発明が実施形態の構成に限定されないことは言うまでもない。   Hereinafter, the best mode for carrying out the present invention (hereinafter simply referred to as an embodiment) will be described with reference to the drawings. However, the description of the embodiment is merely for illustrative purposes, It goes without saying that the invention is not limited to the configuration of the embodiment.

本発明に従い、コンピュータの表示画面上でオブジェクトの選択を容易にするための装置の一実施形態を図1に示す。本実施形態では、表示画面として、多数のオブジェクトを取り扱うエディタの編集画面を想定している。図1のオブジェクト選択支援装置10は、表示装置234(図9)の表示画面上に表示される複数のオブジェクトの位置情報および属性情報をオブジェクト対応に記憶する記憶部12と、表示画面上においてユーザにより指定されたポイントを特定するポイント特定部14と、表示画面に表示されている複数のオブジェクトのうち、指定ポイントの近傍に位置するオブジェクトを抽出するオブジェクト抽出部16と、オブジェクト抽出部16が抽出したオブジェクト(以下、抽出オブジェクト)を各抽出オブジェクトの属性に基づいて評価する評価部18と、抽出オブジェクトをそれらの評価結果に応じて順位付けし、ユーザによる選択が可能な形態で指定ポイントの近傍に一覧表示すると共に、最も評価結果の高い抽出オブジェクトを仮選択状態にする選択処理部20とを含む。   One embodiment of an apparatus for facilitating selection of objects on a computer display screen in accordance with the present invention is shown in FIG. In this embodiment, an editor editing screen that handles a large number of objects is assumed as the display screen. The object selection support device 10 in FIG. 1 includes a storage unit 12 that stores position information and attribute information of a plurality of objects displayed on the display screen of the display device 234 (FIG. 9) in association with the object, and a user on the display screen. The point specifying unit 14 for specifying the point specified by the above, the object extracting unit 16 for extracting an object located in the vicinity of the specified point among the plurality of objects displayed on the display screen, and the object extracting unit 16 extract The evaluation unit 18 that evaluates the extracted objects (hereinafter referred to as “extracted objects”) based on the attributes of the respective extracted objects, and ranks the extracted objects according to the evaluation results, and the vicinity of the designated point in a form that can be selected by the user The extracted objects with the highest evaluation results And a selection unit 20 for the state.

記憶部12は、例えば図2に示すような形式で、各オブジェクトの位置情報および属性情報をオブジェクト対応に記憶する。画面に表示されるオブジェクトの数をnとすると、記憶部12は、例えば1からnまでのオブジェクトIDと、各IDによって示されるオブジェクトの位置情報Li、種類Tiおよびピクセル情報Pi(i=1、2、・・・n)を記憶する。そのうち、種類Tiおよびピクセル情報Piをここでは属性情報と呼ぶ。位置情報Liは、例えば、対応するオブジェクトiを囲む矩形の左上角の座標と、当該矩形の幅(x方向の長さ)および高さ(y方向の長さ)を含む。種類Tiは、対応するオブジェクトiの特徴部分の種類であり、例えばテキスト、前景画像、背景画像などを含む。特徴部分とは、対応するオブジェクトの不透明部分であるが、詳細については後で説明する。ピクセル情報Piは、オブジェクトを構成する各ピクセルのアルファ値(不透明度)を含む。   The storage unit 12 stores the position information and attribute information of each object in association with the object, for example, in the format shown in FIG. When the number of objects displayed on the screen is n, the storage unit 12 stores, for example, object IDs 1 to n, position information Li of the objects indicated by each ID, type Ti, and pixel information Pi (i = 1, 2, ... n) are stored. Among them, the type Ti and the pixel information Pi are referred to as attribute information here. The position information Li includes, for example, the coordinates of the upper left corner of the rectangle surrounding the corresponding object i, and the width (length in the x direction) and height (length in the y direction) of the rectangle. The type Ti is the type of the characteristic part of the corresponding object i and includes, for example, text, foreground image, background image, and the like. The characteristic portion is an opaque portion of the corresponding object, and details will be described later. The pixel information Pi includes an alpha value (opacity) of each pixel constituting the object.

次に、図3のフローチャートを参照しながら、図1に示すオブジェクト選択支援装置10の動作について説明する。図3のフローは、表示画面上の特定のポイントを指定するユーザ入力(例えばマウスクリック)があったときに開始する。最初のステップS1では、そのようなユーザ入力に応じて、ポイント特定部14が指定ポイントをxy座標の形式で特定し、その座標値をオブジェクト抽出部16に送る。次のステップS2で、オブジェクト抽出部16が、指定ポイントの座標値および記憶部12に記憶されている各オブジェクトの位置情報に基づいて、指定ポイントの近傍に位置するオブジェクトを抽出する。この抽出は、例えば指定ポイントとの距離が所定の閾値以下であるオブジェクトを選択することによって行われる。指定ポイントとの距離は、指定ポイントと各オブジェクトの最短距離でよく、あるいは指定ポイントと各オブジェクトの重心との距離でもよい。最短距離を採用した場合、指定ポイントと当該指定ポイントを内部に含むオブジェクトとの距離は便宜上0にしておけばよい。   Next, the operation of the object selection support apparatus 10 shown in FIG. 1 will be described with reference to the flowchart of FIG. The flow in FIG. 3 starts when there is a user input (for example, mouse click) that specifies a specific point on the display screen. In the first step S 1, in response to such user input, the point specifying unit 14 specifies the designated point in the form of xy coordinates, and sends the coordinate value to the object extracting unit 16. In the next step S2, the object extraction unit 16 extracts an object located in the vicinity of the designated point based on the coordinate value of the designated point and the position information of each object stored in the storage unit 12. This extraction is performed, for example, by selecting an object whose distance from the specified point is a predetermined threshold value or less. The distance from the designated point may be the shortest distance between the designated point and each object, or may be the distance between the designated point and the center of gravity of each object. When the shortest distance is adopted, the distance between the designated point and the object including the designated point may be set to 0 for convenience.

図4の画面例を参照して、ステップS2におけるオブジェクト抽出処理を具体的に説明する。図4は、表示画面40に3つのオブジェクト44、46および48が表示されている例を示している。オブジェクト44、46および48は、実際にはテキストや画像等のコンテンツを含んでいるが、図面が繁雑になって見にくくなるのを避けるため、図4ではそのようなコンテンツを省略している。   The object extraction processing in step S2 will be specifically described with reference to the screen example of FIG. FIG. 4 shows an example in which three objects 44, 46 and 48 are displayed on the display screen 40. The objects 44, 46, and 48 actually include content such as text and images, but such content is omitted in FIG. 4 in order to prevent the drawing from becoming complicated and difficult to see.

図4において、ユーザがカーソル42を図示のポイントまで移動させてクリックしたとき、ポイント特定部14がその座標を検出して(ステップS1)、オブジェクト抽出部16に知らせる。オブジェクト抽出部16は、それに応答して、表示画面40に表示されているオブジェクト44、46および48の位置情報を記憶部12から読み出し、各オブジェクトを囲む矩形の4辺の座標値、すなわち右辺および左辺のx座標値と、上辺および下辺のy座標値を指定ポイントの座標値と比較することにより、オブジェクト44については距離d1を、オブジェクト48については距離d2を算出する。オブジェクト46の場合は、指定ポイントがオブジェクト内に含まれているため、オブジェクト抽出部16は、指定ポイントとオブジェクト46との距離をデフォルト値(0でよい)に設定する。そしてオブジェクト抽出部16は、算出した距離を所定の閾値THと比較し、距離がTH以下であるオブジェクトを抽出する。例えば、図4の例でd2<TH<d1であれば、オブジェクト抽出部16は、オブジェクト46および48を抽出する。閾値は、例えば20mmといった固定値でもよいが、ユーザが自由に設定できるようにしておいてもよい。   In FIG. 4, when the user moves the cursor 42 to the illustrated point and clicks, the point specifying unit 14 detects the coordinates (step S1) and notifies the object extracting unit 16 of the coordinates. In response to this, the object extraction unit 16 reads the position information of the objects 44, 46, and 48 displayed on the display screen 40 from the storage unit 12, and coordinates values of four sides of the rectangle surrounding each object, that is, the right side and By comparing the x coordinate value of the left side and the y coordinate values of the upper side and the lower side with the coordinate values of the designated point, the distance d1 is calculated for the object 44 and the distance d2 is calculated for the object 48. In the case of the object 46, since the designated point is included in the object, the object extraction unit 16 sets the distance between the designated point and the object 46 to a default value (may be 0). Then, the object extraction unit 16 compares the calculated distance with a predetermined threshold TH, and extracts an object whose distance is equal to or less than TH. For example, if d2 <TH <d1 in the example of FIG. 4, the object extraction unit 16 extracts the objects 46 and 48. The threshold value may be a fixed value such as 20 mm, for example, but may be set freely by the user.

図4は指定ポイントと各オブジェクトの最短距離を算出する例を示しているが、指定ポイントと各オブジェクトの重心との距離を算出する場合は図5のようになる。オブジェクト抽出部16は、指定ポイントと、オブジェクト44の重心54、オブジェクト46の重心56およびオブジェクト48の重心58との距離d3、d4およびd5をそれぞれ算出し、それらを閾値THと比較することにより、オブジェクトを抽出する。例えば、d4<TH<d5<d3であれば、オブジェクト抽出部16はオブジェクト46だけを抽出する。重心自体の算出方法は周知であるから、その詳細については省略する。   FIG. 4 shows an example of calculating the shortest distance between the designated point and each object. FIG. 5 shows the case where the distance between the designated point and the center of gravity of each object is calculated. The object extraction unit 16 calculates distances d3, d4, and d5 between the specified point and the center of gravity 54 of the object 44, the center of gravity 56 of the object 46, and the center of gravity 58 of the object 48, and compares them with the threshold value TH. Extract objects. For example, if d4 <TH <d5 <d3, the object extraction unit 16 extracts only the object 46. Since the method of calculating the center of gravity itself is well known, its details are omitted.

図3に戻って、オブジェクト抽出部16はステップS2でオブジェクトを抽出すると、指定ポイントの座標値と共に、その抽出オブジェクトのIDを評価部18に知らせる。評価部18は、次のステップS3で、IDを用いて記憶部12から抽出オブジェクトの属性情報を読み出し、抽出オブジェクトを評価する。この属性情報は、図2の例で言うと、種類およびピクセル情報である。本実施形態では、評価部18は、指定ポイントと各抽出オブジェクトの特徴部分との距離、特徴部分の種類、および各抽出オブジェクトの画像的性質の少なくとも1つに基づいて、各抽出オブジェクトを評価する。次に、これらの評価プロセスについて具体的に説明する。   Returning to FIG. 3, when the object extraction unit 16 extracts an object in step S <b> 2, it notifies the evaluation unit 18 of the ID of the extracted object together with the coordinate value of the designated point. In the next step S3, the evaluation unit 18 reads the attribute information of the extracted object from the storage unit 12 using the ID, and evaluates the extracted object. This attribute information is type and pixel information in the example of FIG. In the present embodiment, the evaluation unit 18 evaluates each extracted object based on at least one of the distance between the designated point and the characteristic part of each extracted object, the type of the characteristic part, and the image property of each extracted object. . Next, these evaluation processes will be specifically described.

まず、評価部18は、記憶部12から読み出した属性情報のうち、ピクセル情報に含まれる各ピクセルのアルファ値を調べることにより、各抽出オブジェクトの不透明部分を特徴部分として特定する。これは、例えば0から255までのアルファ値のうち所定値以上(例えば128以上)のアルファ値を持つピクセルを不透明ピクセルとして抽出することにより実施可能である。次に、評価部18は、抽出した不透明ピクセルから構成される不透明部分の内部に指定ポイントが含まれるかどうかを調べ、含まれている場合は、指定ポイントと不透明部分との距離を0とする。また、指定ポイントが不透明部分に含まれていない場合は、指定ポイントに最も近い不透明ピクセルを見つけて、それらの間の距離を指定ポイントと不透明部分との最短距離として算出する。距離は、mmやcmなどの長さでもよく、あるいはピクセル数で表してもよい。   First, the evaluation unit 18 specifies an opaque portion of each extracted object as a feature portion by examining the alpha value of each pixel included in the pixel information among the attribute information read from the storage unit 12. This can be implemented, for example, by extracting a pixel having an alpha value greater than or equal to a predetermined value (for example, 128 or more) out of alpha values from 0 to 255 as an opaque pixel. Next, the evaluation unit 18 checks whether or not the designated point is included in the opaque portion composed of the extracted opaque pixels. If it is included, the distance between the designated point and the opaque portion is set to 0. . If the designated point is not included in the opaque portion, the opaque pixel closest to the designated point is found, and the distance between them is calculated as the shortest distance between the designated point and the opaque portion. The distance may be a length such as mm or cm, or may be represented by the number of pixels.

評価部18は、指定ポイントと不透明部分との間の最短距離算出を抽出オブジェクトごとに実行し、算出結果に応じて各抽出オブジェクトに評価値を割り当てる。その場合、距離が近いほど評価値が高くなるようにする。これは、テキストや画像を含む、オブジェクトの特徴部分が指定ポイントに近いほど、ユーザが当該オブジェクトを選択する可能性が高いと考えられるからである。   The evaluation unit 18 calculates the shortest distance between the designated point and the opaque part for each extracted object, and assigns an evaluation value to each extracted object according to the calculation result. In this case, the evaluation value is set higher as the distance is shorter. This is because it is considered that the closer the feature part of an object including text and images is to the designated point, the higher the possibility that the user will select the object.

評価値は抽出オブジェクトの順序付けに使用されるので、各抽出オブジェクトの相対的な値がわかればよい。従って、上述の最短距離だけを評価基準とするのであれば、例えば(1/算出距離)を評価値として使用してもよい。その場合、算出距離が0であれば除算ができないので、対応する抽出オブジェクトを最優先オブジェクトとして選択するために、他の抽出オブジェクトの評価値よりも大きい値を適宜割り当てておけばよい。   Since the evaluation value is used for ordering of the extracted objects, it is only necessary to know the relative value of each extracted object. Therefore, if only the above shortest distance is used as an evaluation criterion, for example, (1 / calculated distance) may be used as an evaluation value. In this case, division is not possible if the calculated distance is 0. Therefore, in order to select the corresponding extracted object as the highest priority object, a value larger than the evaluation value of the other extracted objects may be appropriately assigned.

また、評価部18は、抽出オブジェクトの特徴部分の種類に応じて各抽出オブジェクトに評価値を割り当てることも可能である。本実施形態では、テキスト→前景画像→背景画像の順に評価値を割り当てるが、この優先順位をユーザがエディタのメニュー画面で設定できるようにしておいてもよい。評価値としては、例えばテキストに対しては1を割り当て、後は前景画像、背景画像などの順に、0.2ずつ小さくなる値を割り当てることができる。   The evaluation unit 18 can also assign an evaluation value to each extracted object according to the type of the characteristic part of the extracted object. In this embodiment, evaluation values are assigned in the order of text → foreground image → background image, but this priority may be set by the user on the menu screen of the editor. As the evaluation value, for example, 1 can be assigned to text, and thereafter, a value that decreases by 0.2 can be assigned in the order of foreground image, background image, and the like.

更に、評価部18は、抽出オブジェクトの画像的性質に応じて、各抽出オブジェクトに評価値を割り当ててもよい。画像的性質としては、各抽出オブジェクトの透明度および周波数成分を考慮することができる。   Furthermore, the evaluation unit 18 may assign an evaluation value to each extracted object according to the image property of the extracted object. As the image property, the transparency and frequency component of each extracted object can be considered.

抽出オブジェクトの透明度はユーザの視覚に影響を与え、さらに編集操作に対しても影響を与えていると考えられる。例えば、ユーザがオブジェクトを選択する場合、より透明でないオブジェクトの部分の近傍で選択操作を行う傾向にあると仮定できる。そうすると、指定ポイント付近の抽出オブジェクトの透明度を評価することで、ユーザの選択操作の意図を汲むことができるようになる。なお、簡略化のため、抽出オブジェクトの透明度は、当該抽出オブジェクトを構成するピクセルの透明度の平均値を採用してもよい。評価部18は透明度が低くなるほど高い評価値を割り当てる。透明度に関する評価値は、例えば(アルファ値/255)でよい。   It is considered that the transparency of the extracted object affects the user's vision and also affects the editing operation. For example, when the user selects an object, it can be assumed that the selection operation tends to be performed in the vicinity of a part of the object that is less transparent. Then, by evaluating the transparency of the extracted object in the vicinity of the specified point, the user's intention of the selection operation can be drawn. For simplification, an average value of the transparency of pixels constituting the extraction object may be adopted as the transparency of the extraction object. The evaluation unit 18 assigns a higher evaluation value as the transparency is lower. The evaluation value regarding transparency may be, for example, (alpha value / 255).

周波数成分は、例えば、指定ポイントの直近の8×8のピクセルブロックで離散コサイン変換(DCT)を適用することで分析してもよい。評価部18は高周波成分があるほど高い評価値を割り当てる。これは、例えば、写真やテキストなどのように細かな変化に富む画像(高周波成分を含む)を、単一色又は色彩がなだらかに変化するような画像(低周波成分のみで構成される)よりも重視する、という考え方による。ユーザがオブジェクトを選択しようとする際に、そのオブジェクトの中でより変化に富んだ特徴的な部分の近傍で選択操作を行う傾向にあると仮定すると、高周波数成分の評価値を高くすることで、ユーザの意図を汲むことができるようになる。周波数成分に関する評価値は、例えば(最高周波数成分の位置/64)でよい。   The frequency component may be analyzed, for example, by applying a discrete cosine transform (DCT) on the 8 × 8 pixel block closest to the specified point. The evaluation unit 18 assigns a higher evaluation value to the higher frequency component. This is because, for example, images (including high-frequency components) rich in fine changes such as photographs and texts are compared to images (consisting only of low-frequency components) in which a single color or color changes gently. Based on the concept of emphasis. When the user tries to select an object, assuming that there is a tendency to perform a selection operation in the vicinity of a characteristic part that is more varied in the object, the evaluation value of the high frequency component can be increased. The user's intention can be drawn. The evaluation value related to the frequency component may be, for example, (position of highest frequency component / 64).

評価部18は、指定ポイントと特徴部分との距離だけを評価基準として使用する場合は、評価値を算出することなく、距離の短いものから順に抽出オブジェクトを順序付け、その結果を選択処理20に送るだけでもよい。また、特徴部分の種類だけで評価する場合は、同様に評価値を算出することなく、前述した順に抽出オブジェクトを順序付け、その結果を選択処理部20に送るだけでもよい。画像的性質だけを考慮する場合も同様である。   When the evaluation unit 18 uses only the distance between the designated point and the feature portion as an evaluation criterion, the evaluation unit 18 orders the extracted objects in order from the shortest distance without calculating the evaluation value, and sends the result to the selection process 20. Just be fine. Further, in the case of evaluating only by the type of the characteristic part, the extracted objects may be ordered in the order described above without similarly calculating the evaluation value, and the result may be sent to the selection processing unit 20. The same applies when considering only the image properties.

しかし、指定ポイントと特徴部分との距離、特徴部分の種類、および抽出オブジェクトの画像的性質のうちの少なくとも2つを評価基準にする場合は、次のようにするのが好ましい。まず、評価部18は、評価値が、距離別、種類別および画像的性質別に、それぞれ0から1までの間に収まるように正規化する。そして、距離別の評価値をD、種類別の評価値をT、画像的性質別の評価値をIとしたときに、次式に従って総合評価値EVを計算する。
EV=αD+βT+γI (1)
However, when at least two of the distance between the designated point and the feature part, the type of the feature part, and the image property of the extracted object are used as evaluation criteria, the following is preferable. First, the evaluation unit 18 normalizes the evaluation value so that it falls within the range of 0 to 1 for each distance, each type, and each image property. Then, when the evaluation value for each distance is D, the evaluation value for each type is T, and the evaluation value for each image property is I, the comprehensive evaluation value EV is calculated according to the following equation.
EV = αD + βT + γI (1)

上式おいて、α、βおよびγはα+β+γ=1を満たす重み付け係数であり、どの評価基準をどの程度重要視するかに応じて適宜決めることができる。   In the above equation, α, β, and γ are weighting coefficients that satisfy α + β + γ = 1, and can be appropriately determined depending on how much evaluation criteria are regarded as important.

更に、評価部18は、編集対象がWebページの場合は、各オブジェクトにHTMLタグが対応付けられているので、HTMLタグによる評価を追加してもよい。例えば、<BODY>タグはWebページ全体が領域になっており、特別な特徴を有さないことが多く、従ってタグによる評価では最低評価としてよい。また、<P>タグはテキストを有しているので、評価を高くしてよい。HTMLタグを評価基準にする場合は、上述のような正規化および重み付けを行う必要がある。   Further, when the editing target is a Web page, the evaluation unit 18 may add an evaluation using an HTML tag because an HTML tag is associated with each object. For example, the <BODY> tag has the entire Web page as an area, and often has no special characteristics. Therefore, the tag evaluation may be the lowest evaluation. Moreover, since the <P> tag has text, the evaluation may be increased. When an HTML tag is used as an evaluation criterion, it is necessary to perform normalization and weighting as described above.

評価部18は各抽出オブジェクトの評価値を選択処理部20に送る。選択処理部20は、ステップS4で、評価値が最も高い抽出オブジェクトを仮選択状態にし、更にステップS5で、抽出オブジェクトを評価値の順に簡略形式で一覧表示する。仮選択状態とは、当該オブジェクトを編集対象として仮に選択した状態であって、ユーザによるマウスクリック等の確定操作があって初めて選択が確定し、当該オブジェクトの編集が可能になる状態のことである。   The evaluation unit 18 sends the evaluation value of each extracted object to the selection processing unit 20. In step S4, the selection processing unit 20 puts the extracted object having the highest evaluation value into a temporary selection state, and further displays the extracted objects in a list in a simplified format in the order of evaluation values in step S5. The provisional selection state is a state in which the object is temporarily selected as an object to be edited, and the selection is confirmed and editing of the object is possible only after a confirmation operation such as a mouse click by the user. .

選択処理部20による処理結果の一例を図6に示す。図示のように、選択処理部20は、カーソル42によって示される指定ポイントの近傍に一覧ビュー60を表示し、その中に抽出オブジェクトを評価値の順に簡略表示する。図6は、オブジェクト46および48が抽出され、それらが簡略表示オブジェクト46’および48’として一覧ビュー60内に表示されている例を示している。図6の例では、一覧ビュー60内で上の方に表示されている簡略表示オブジェクトほど評価値が高くなっている。簡略表示オブジェクト46’および48’は、対応するオブジェクト46および48の一部であってもよく、あるいはレイヤーパレットのように、オブジェクトの種類に応じたアイコンとオブジェクトの名前から構成されてもよい。   An example of a processing result by the selection processing unit 20 is shown in FIG. As shown in the figure, the selection processing unit 20 displays a list view 60 in the vicinity of the designated point indicated by the cursor 42, and briefly displays the extracted objects in the order of evaluation values. FIG. 6 shows an example in which objects 46 and 48 are extracted and displayed in the list view 60 as simplified display objects 46 ′ and 48 ′. In the example of FIG. 6, the evaluation value is higher as the simplified display object is displayed in the upper side in the list view 60. The simplified display objects 46 ′ and 48 ′ may be a part of the corresponding objects 46 and 48, or may be configured by an icon and an object name corresponding to the type of the object, like a layer palette.

更に、選択処理部20は、評価値が最も高い抽出オブジェクト(図6の例ではオブジェクト46)が仮選択状態にあることを示すために、そのオブジェクトの実体を強調表示する。図6の例では、簡単のためオブジェクト46を囲む矩形が太線で強調表示されているが、強調表示の形態はこれに限らず、例えばオブジェクト全体を高輝度表示するものであってもよい。   Further, the selection processing unit 20 highlights the entity of the extracted object having the highest evaluation value (the object 46 in the example of FIG. 6) in a temporarily selected state. In the example of FIG. 6, the rectangle surrounding the object 46 is highlighted with a thick line for simplicity, but the highlighted form is not limited to this, and for example, the entire object may be displayed with high brightness.

図6は、簡単のため、抽出オブジェクトを2つしか示していないが、抽出オブジェクトの数が多くなったときには、評価値の低いオブジェクトを1つのグループにまとめて省略表示してもよい。その例を図8に示す。図8は、評価値が3位以下のオブジェクトを1つの省略表示ブロック80として一覧ビュー60内に表示した例を示している。選択処理部20は、ユーザが省略表示ブロック80を例えばマウスクリックで選択すると、省略表示されていた抽出オブジェクトをドロップダウンメニューの形式で簡略表示することができる。ドロップダウンメニュー形式の代わりに、省略表示されていた抽出オブジェクトを一覧ビュー60の中に簡略表示オブジェクト46’および48’と同様な形態で上書き表示してもよい。その場合は、元の一覧ビューに戻るためのボタンを適当な場所に設定しておくのが望ましい。   FIG. 6 shows only two extracted objects for the sake of simplicity, but when the number of extracted objects increases, objects with low evaluation values may be collectively displayed as one group and omitted. An example is shown in FIG. FIG. 8 shows an example in which an object having an evaluation value of third or lower is displayed in the list view 60 as one abbreviated display block 80. When the user selects the abbreviated display block 80 with, for example, a mouse click, the selection processing unit 20 can simply display the extracted object that has been abbreviated in the form of a drop-down menu. Instead of the drop-down menu format, the extracted objects that have been omitted may be overwritten and displayed in the list view 60 in the same form as the simplified display objects 46 ′ and 48 ′. In that case, it is desirable to set a button for returning to the original list view at an appropriate place.

選択処理部20はこのあと再選択モードに入り(ステップS6)、ユーザによる確定操作を待つ(ステップS7)。図6の状態、すなわち最高評価のオブジェクト46が仮選択状態にあるときに、ユーザが例えばマウスボタンをクリックすることによって確定操作を実行すると、選択処理部20はそのユーザ入力に応答してオブジェクト46を選択オブジェクトとして確定する(ステップS8)。また、図6の状態で、ユーザがカーソル42を簡略表示オブジェクト48’の上に移動させた場合、図7に示すように、選択処理部20はそれに応答して、簡略表示オブジェクト48'の実体、すなわち対応するオブジェクト48を強調表示し、オブジェクト48が仮選択状態にあることを示す。この状態で、ユーザがマウスボタンをクリックすると、選択処理部20はそのユーザ入力に応答してオブジェクト48を選択オブジェクトとして確定する(ステップS8)。ユーザの確定操作が所定時間経過しても行われなかった場合は、そのときの仮選択オブジェクトの選択を確定させてもよい。また、ユーザが一覧ビュー60に表示されているオブジェクト以外のオブジェクトをクリックした場合は、図3の処理が最初から実行される。   The selection processing unit 20 then enters the reselection mode (step S6) and waits for a confirmation operation by the user (step S7). In the state of FIG. 6, that is, when the highest rated object 46 is in the temporary selection state, when the user executes a confirmation operation by clicking, for example, a mouse button, the selection processing unit 20 responds to the user input and the object 46. Is determined as the selected object (step S8). In addition, when the user moves the cursor 42 over the simplified display object 48 ′ in the state of FIG. 6, the selection processing unit 20 responds to the entity of the simplified display object 48 ′ as shown in FIG. That is, the corresponding object 48 is highlighted to indicate that the object 48 is in a temporarily selected state. When the user clicks the mouse button in this state, the selection processing unit 20 determines the object 48 as the selected object in response to the user input (step S8). If the user's confirmation operation is not performed even after a predetermined time has elapsed, the selection of the temporarily selected object at that time may be confirmed. When the user clicks on an object other than the object displayed in the list view 60, the process of FIG. 3 is executed from the beginning.

図9は、図1のオブジェクト選択支援装置10として実施可能なデータ処理システムの構成例を示している。データ処理システム200は、システム・バス206に接続された複数のプロセッサ202および204を備えた対称型マルチプロセッサ(SMP)であってもよく、またシングル・プロセッサ・システムであってもよい。システム・バス206にはメモリ・コントローラ/キャッシュ208も接続されており、これはローカル・メモリ209に対するインターフェースを提供する。I/Oバス・ブリッジ210がシステム・バス206に接続されており、I/Oバス212に対するインターフェースを提供する。メモリ・コントローラ/キャッシュ206とI/Oバス・ブリッジ210は、図示されているように1つに統合することも可能である。   FIG. 9 shows a configuration example of a data processing system that can be implemented as the object selection support apparatus 10 of FIG. Data processing system 200 may be a symmetric multiprocessor (SMP) with multiple processors 202 and 204 connected to system bus 206, or may be a single processor system. Also connected to the system bus 206 is a memory controller / cache 208, which provides an interface to the local memory 209. An I / O bus bridge 210 is connected to the system bus 206 and provides an interface to the I / O bus 212. The memory controller / cache 206 and the I / O bus bridge 210 may be integrated together as shown.

I/Oバス212に接続されたPCIバス・ブリッジ214は、PCIローカル・バス216に対するインターフェースを提供する。PCIローカル・バスには、モデム218、ネットワークアダプタ220などの通信機器、およびその他の周辺機器を接続可能である。典型的なPCIバスの実装では、4つのPCI拡張用スロットないしは拡張用コネクタを備えている。   A PCI bus bridge 214 connected to the I / O bus 212 provides an interface to the PCI local bus 216. Communication devices such as a modem 218 and a network adapter 220, and other peripheral devices can be connected to the PCI local bus. A typical PCI bus implementation includes four PCI expansion slots or expansion connectors.

追加のPCIバス・ブリッジ222および224は、追加のPCIローカル・バス226および228のためのインターフェースを提供し、それにより追加の周辺機器を扱うことが可能となる。図示のように、I/Oローカル・バス212には、メモリ・マップ式グラフィクス・アダプタ230およびハード・ディスク・ドライブ232も接続可能である。グラフィクス・アダプタ230には液晶ディスプレイなどの表示装置234が接続される。   Additional PCI bus bridges 222 and 224 provide an interface for additional PCI local buses 226 and 228, thereby allowing additional peripheral devices to be handled. As shown, a memory mapped graphics adapter 230 and a hard disk drive 232 can also be connected to the I / O local bus 212. A display device 234 such as a liquid crystal display is connected to the graphics adapter 230.

オペレーティング・システムはプロセッサ202、204上で動作し、図9のデータ処理システム200にある各種コンポーネントを制御する。オペレーティング・システムは、マイクロソフト・コーポレーションから入手可能なWindows(R) XPといった市販のオペレーティング・システムであってもよい。オペレーティング・システム上で動作する、本発明に従うプログラムは、例えばハード・ディスク・ドライブ232などのストレージ・デバイスに記憶されており、実行時にメモリ209にロードされて、データ処理システム200をポイント特定部14、オブジェクト抽出部16、評価部18および選択処理部20として機能させる。記憶部12は、ローカル・メモリ209により実装可能である。   The operating system runs on the processors 202 and 204 and controls various components in the data processing system 200 of FIG. The operating system may be a commercially available operating system such as Windows® XP available from Microsoft Corporation. The program according to the present invention that operates on the operating system is stored in a storage device such as a hard disk drive 232 and is loaded into the memory 209 at the time of execution, and the data processing system 200 is pointed to the point specifying unit 14. , Function as the object extraction unit 16, the evaluation unit 18, and the selection processing unit 20. The storage unit 12 can be implemented by the local memory 209.

当業者であれば、図9のハードウェアが実装に応じて変わり得ることを十分理解できよう。フラッシュROM(または同等の不揮発性メモリ)や光ディスク・ドライブなどといった、その他の内部ハードウェアや周辺機器が、図9に示したハードウェアに加えて、またはそれらに代えて使うことができる。   Those skilled in the art will appreciate that the hardware of FIG. 9 may vary depending on the implementation. Other internal hardware and peripheral devices such as a flash ROM (or equivalent non-volatile memory) and an optical disk drive can be used in addition to or instead of the hardware shown in FIG.

本発明は完全に機能するデータ処理システムとの関連で説明されたが、本発明のプロセスは、命令のコンピュータ可読媒体の形式および様々な形式で配布できること、ならびに本発明は配布を実行するため実際に使用される信号担持媒体の特定のタイプに関係なく等しく適用されることは、当業者に理解されるであろう。コンピュータ可読媒体の例は、フレキシブル・ディスク、ハード・ディスク・ドライブ、RAM、CD−ROM、DVD−ROMのような記録可能タイプの媒体、ならびに、ディジタルおよびアナログ通信リンク、無線周波数および光波伝送を使用する有線または無線通信リンクのような伝送タイプの媒体を含む。コンピュータ可読媒体は、特定のデータ処理システムで実際に使用するためデコードされる符号化フォーマットの形式を取ってもよい。   Although the present invention has been described in the context of a fully functional data processing system, the process of the present invention can be distributed in the form of a computer-readable medium of instructions and in various forms, and the present invention is practical for carrying out the distribution. It will be appreciated by those skilled in the art that the present invention applies equally regardless of the particular type of signal bearing medium used. Examples of computer readable media use recordable type media such as flexible disk, hard disk drive, RAM, CD-ROM, DVD-ROM, and digital and analog communication links, radio frequency and lightwave transmission Including transmission type media such as wired or wireless communication links. The computer readable medium may take the form of an encoded format that is decoded for actual use in a particular data processing system.

本発明の記述は、例示及び説明を目的として提示されており、網羅的であること及び開示された形式の発明に限定されることを意図しない。多くの修正および変形が、当業者に明らかであろう。実施形態は、本発明の原理および実際の応用を最もよく説明し、当業者が、想定される特定の使用に適した様々な修正を有する様々な実施形態について本発明を理解できるように、選択され説明された。   The description of the present invention has been presented for purposes of illustration and description, and is not intended to be exhaustive or limited to the invention in the form disclosed. Many modifications and variations will be apparent to practitioners skilled in this art. The embodiments are best described for the principles and practical applications of the present invention and are selected so that one skilled in the art can understand the present invention for various embodiments having various modifications suitable for the particular use envisioned. Was explained.

本発明に従うオブジェクト選択支援装置の構成例を示すブロック図。The block diagram which shows the structural example of the object selection assistance apparatus according to this invention. 図1に示すオブジェクト選択支援装置の記憶部に記憶されるオブジェクトデータの一例を示す図。The figure which shows an example of the object data memorize | stored in the memory | storage part of the object selection assistance apparatus shown in FIG. 図1に示すオブジェクト選択支援装置の動作を示すフローチャート。本発明によるオブジェクト選択の一例を示す図。The flowchart which shows operation | movement of the object selection assistance apparatus shown in FIG. The figure which shows an example of the object selection by this invention. 図1に示すオブジェクト選択支援装置のオブジェクト抽出部によるオブジェクト抽出処理の一例を示す図。The figure which shows an example of the object extraction process by the object extraction part of the object selection assistance apparatus shown in FIG. 図1に示すオブジェクト選択支援装置のオブジェクト抽出部によるオブジェクト抽出処理の他の例を示す図。The figure which shows the other example of the object extraction process by the object extraction part of the object selection assistance apparatus shown in FIG. 図1に示すオブジェクト選択支援装置の選択処理部による処理結果の一例を示す図。The figure which shows an example of the processing result by the selection process part of the object selection assistance apparatus shown in FIG. 図1に示すオブジェクト選択支援装置の選択処理部による処理結果の他の例を示す図。The figure which shows the other example of the processing result by the selection process part of the object selection assistance apparatus shown in FIG. 評価値の低いオブジェクトを1つのグループとして一覧ビュー内に省略表示する例を示す図。The figure which shows the example which abbreviate-displays the object with a low evaluation value as one group in a list view. 本発明に従うオブジェクト選択支援装置として実施可能なデータ処理システムの構成例を示すブロック図。The block diagram which shows the structural example of the data processing system which can be implemented as an object selection assistance apparatus according to this invention.

10 オブジェクト選択支援装置
12 記憶部
14 ポイント特定部
16 オブジェクト抽出部
18 評価部
20 選択処理部
40 表示画面
42 カーソル
44、46、48 オブジェクト
60 一覧ビュー
DESCRIPTION OF SYMBOLS 10 Object selection support apparatus 12 Memory | storage part 14 Point identification part 16 Object extraction part 18 Evaluation part 20 Selection process part 40 Display screen 42 Cursor 44, 46, 48 Object 60 List view

Claims (13)

コンピュータの表示画面上でオブジェクトの選択を容易にするための方法であって、
前記表示画面上においてユーザにより指定されたポイントを特定するステップと、
前記表示画面に表示されている複数のオブジェクトのうち、前記ポイントの近傍に位置するオブジェクトを抽出するステップと、
前記抽出するステップが抽出したオブジェクト(以下、抽出オブジェクト)を各該抽出オブジェクトの属性に基づいて評価するステップと、
前記抽出オブジェクトをそれらの評価結果に応じて順位付けし、ユーザによる選択が可能な形態で前記ポイントの近傍に一覧表示すると共に、最も評価結果の高い抽出オブジェクトを仮選択状態にするステップと、
を含み、
前記評価するステップは、前記ポイントと各抽出オブジェクトの特徴部分との距離、前記特徴部分の種類、および前記抽出オブジェクトの画像的性質のうちの少なくとも2つに基づいて各抽出オブジェクトの評価値を算出して、それぞれの評価値を重み付けした値の総和を各抽出オブジェクトの評価値とする、方法。
A method for facilitating selection of an object on a computer display screen, comprising:
Identifying a point designated by the user on the display screen;
Extracting an object located in the vicinity of the point among a plurality of objects displayed on the display screen;
Evaluating the objects extracted by the extracting step (hereinafter, extracted objects) based on the attributes of the extracted objects;
A step of the extraction object ranks according to their evaluation results, together with the list in the vicinity of the point form can be selected by the user and the high extraction object most evaluation results in the temporary selection state,
Only including,
The evaluating step calculates an evaluation value of each extracted object based on at least two of a distance between the point and a characteristic portion of each extracted object, a type of the characteristic portion, and an image property of the extracted object. Then, the sum of values obtained by weighting the respective evaluation values is used as the evaluation value of each extracted object .
前記一覧表示は各抽出オブジェクトの簡略表示である、請求項1に記載の方法。   The method according to claim 1, wherein the list display is a simplified display of each extracted object. 前記表示画面上において、簡略表示された特定の抽出オブジェクトの上にポインタが重なったときに該特定の抽出オブジェクトの実体を強調表示するステップを更に含む、請求項2に記載の方法。   The method according to claim 2, further comprising: highlighting an entity of the specific extracted object when the pointer is over the specific extracted object displayed in a simplified manner on the display screen. 前記特定の抽出オブジェクトの実体が強調表示されている状態でユーザにより確定操作が行われると前記特定の抽出オブジェクトの選択を確定するステップを更に含む、請求項3に記載の方法。   The method according to claim 3, further comprising the step of confirming selection of the specific extraction object when a confirmation operation is performed by a user in a state where an entity of the specific extraction object is highlighted. 前記最も評価結果の高いオブジェクトが仮選択状態にあるときにユーザにより確定操作が行われると前記最も評価結果の高い抽出オブジェクトの選択を確定するステップを更に含む、請求項4に記載の方法。   The method according to claim 4, further comprising the step of confirming selection of the extracted object having the highest evaluation result when a determination operation is performed by a user when the object having the highest evaluation result is in a temporary selection state. 前記抽出するステップは、
前記ポイントと、前記表示画面上に表示されている各オブジェクトとの距離を算出するステップと、
前記ポイントを内包するオブジェクトを含む、前記距離が所定の閾値以下のオブジェクトを抽出するステップと
を含む、請求項1乃至5のいずれかに記載の方法。
The extracting step includes:
Calculating a distance between the point and each object displayed on the display screen;
The method according to claim 1, further comprising: extracting an object including the object including the point and having the distance equal to or less than a predetermined threshold.
前記特徴部分が各抽出オブジェクトの不透明部分であり、該不透明部分との距離が近いほど評価値が高くなる、請求項に記載の方法。 The method according to claim 1 , wherein the characteristic portion is an opaque portion of each extracted object, and the evaluation value increases as the distance from the opaque portion decreases. 前記特徴部分の種類が、テキスト、前景画像および背景画像を含み、それらが予め指定された順序に従って、各抽出オブジェクトの評価値が算出される、請求項に記載の方法。 The method according to claim 1 , wherein the type of the characteristic part includes text, a foreground image, and a background image, and the evaluation value of each extracted object is calculated according to a predetermined order. 前記画像的性質が各抽出オブジェクトの透明度を含み、該透明度が低いほど評価値が高くなる、請求項に記載の方法。 The method according to claim 1 , wherein the image property includes transparency of each extracted object, and the evaluation value is higher as the transparency is lower. 前記画像的性質が各抽出オブジェクトの周波数成分を含み、高周波成分があるほど評価値が高くなる、請求項に記載の方法。 The method according to claim 1 , wherein the image property includes a frequency component of each extracted object, and the evaluation value is higher as there is a higher frequency component. 前記表示画面に表示されている複数のオブジェクトの位置情報および属性情報を記憶するステップを更に含み、
前記特定するステップは、前記指定されたポイントの座標値を特定し、
前記抽出するステップは、前記座標値および前記位置情報をから、前記ポイントと、前記表示画面上に表示されている各オブジェクトとの距離を算出し、
前記評価するステップは、前記属性情報から各抽出オブジェクトを評価する、
請求項1乃至10のいずれかに記載の方法。
Storing the position information and attribute information of the plurality of objects displayed on the display screen;
The specifying step specifies a coordinate value of the designated point;
The step of extracting calculates a distance between the point and each object displayed on the display screen from the coordinate value and the position information,
The evaluating step evaluates each extracted object from the attribute information.
The method according to any one of claims 1 to 10.
コンピュータの表示画面上でオブジェクトの選択を容易にするための装置であって、
前記表示画面上においてユーザにより指定されたポイントを特定するポイント特定部と、
前記表示画面に表示されている複数のオブジェクトのうち、前記ポイントの近傍に位置するオブジェクトを抽出するオブジェクト抽出部と、
前記オブジェクト抽出部が抽出したオブジェクト(以下、抽出オブジェクト)を各該抽出オブジェクトの属性に基づいて評価する評価部と、
前記抽出オブジェクトをそれらの評価結果に応じて順位付けし、ユーザによる選択が可能な形態で前記ポイントの近傍に一覧表示すると共に、最も評価結果の高い抽出オブジェクトを仮選択状態にする選択処理部と、
を含み、
前記評価部は、前記ポイントと各抽出オブジェクトの特徴部分との距離、前記特徴部分の種類、および前記抽出オブジェクトの画像的性質のうちの少なくとも2つに基づいて各抽出オブジェクトの評価値を算出して、それぞれの評価値を重み付けした値の総和を各抽出オブジェクトの評価値とする、装置。
An apparatus for facilitating selection of an object on a computer display screen,
A point identifying unit for identifying a point designated by the user on the display screen;
An object extraction unit that extracts an object located in the vicinity of the point among a plurality of objects displayed on the display screen;
An evaluation unit that evaluates an object extracted by the object extraction unit (hereinafter referred to as an extraction object) based on an attribute of each extraction object;
The extracted object ranks according to their evaluation results, together with the list in the vicinity of the point form can be selected by the user, a selection unit for high extraction object most evaluation results in the temporary selection state ,
Only including,
The evaluation unit calculates an evaluation value of each extracted object based on at least two of a distance between the point and a characteristic part of each extracted object, a type of the characteristic part, and an image property of the extracted object. The sum of values obtained by weighting the respective evaluation values is used as the evaluation value of each extracted object .
コンピュータの表示画面上でオブジェクトの選択を容易にするためのプログラムであって、前記コンピュータに
前記表示画面上においてユーザにより指定されたポイントを特定するステップと、
前記表示画面に表示されている複数のオブジェクトのうち、前記ポイントの近傍に位置するオブジェクトを抽出するステップと、
前記オブジェクト抽出部が抽出したオブジェクト(以下、抽出オブジェクト)を各該抽出オブジェクトの属性に基づいて評価するステップと、
前記抽出オブジェクトをそれらの評価結果に応じて順位付けし、ユーザによる選択が可能な形態で前記ポイントの近傍に一覧表示すると共に、最も評価結果の高い抽出オブジェクトを仮選択状態にするステップと、
を実行させ
前記評価するステップは、前記ポイントと各抽出オブジェクトの特徴部分との距離、前記特徴部分の種類、および前記抽出オブジェクトの画像的性質のうちの少なくとも2つに基づいて各抽出オブジェクトの評価値を算出して、それぞれの評価値を重み付けした値の総和を各抽出オブジェクトの評価値とする、プログラム。
A program for facilitating selection of an object on a display screen of a computer, the step of identifying a point designated by a user on the display screen to the computer;
Extracting an object located in the vicinity of the point among a plurality of objects displayed on the display screen;
Evaluating an object extracted by the object extraction unit (hereinafter referred to as an extracted object) based on an attribute of each extracted object;
A step of the extraction object ranks according to their evaluation results, together with the list in the vicinity of the point form can be selected by the user and the high extraction object most evaluation results in the temporary selection state,
Was executed,
The evaluating step calculates an evaluation value of each extracted object based on at least two of a distance between the point and a characteristic portion of each extracted object, a type of the characteristic portion, and an image property of the extracted object. And the program which makes the sum total of the value which weighted each evaluation value the evaluation value of each extraction object .
JP2009043737A 2009-02-26 2009-02-26 Method, apparatus and program for facilitating object selection Expired - Fee Related JP5255483B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009043737A JP5255483B2 (en) 2009-02-26 2009-02-26 Method, apparatus and program for facilitating object selection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009043737A JP5255483B2 (en) 2009-02-26 2009-02-26 Method, apparatus and program for facilitating object selection

Publications (2)

Publication Number Publication Date
JP2010198433A JP2010198433A (en) 2010-09-09
JP5255483B2 true JP5255483B2 (en) 2013-08-07

Family

ID=42823076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009043737A Expired - Fee Related JP5255483B2 (en) 2009-02-26 2009-02-26 Method, apparatus and program for facilitating object selection

Country Status (1)

Country Link
JP (1) JP5255483B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5723588B2 (en) * 2010-12-21 2015-05-27 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation Information processing apparatus, display processing method, program, and recording medium
US9032331B2 (en) * 2011-03-29 2015-05-12 International Business Machines Corporation Visual widget search
US10599305B2 (en) 2015-10-16 2020-03-24 International Business Machines Corporation Approach for selecting a desired object on a small touch screen
JP7134767B2 (en) * 2018-07-25 2022-09-12 横河電機株式会社 Display unit, display unit control method and program
JP7360700B2 (en) 2019-12-06 2023-10-13 株式会社寺岡精工 label issuing device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1195971A (en) * 1997-09-24 1999-04-09 Sharp Corp User interface system
JP3276068B2 (en) * 1997-11-28 2002-04-22 インターナショナル・ビジネス・マシーンズ・コーポレーション Object selection method and system
JP2002366973A (en) * 2001-06-07 2002-12-20 Hitachi Software Eng Co Ltd Method for generating object, method for selecting and controlling generated object and object data structure
JP2002366974A (en) * 2001-06-12 2002-12-20 Hitachi Software Eng Co Ltd Method for selecting and controlling object
JP2007183716A (en) * 2006-01-04 2007-07-19 Fujifilm Corp Information processor

Also Published As

Publication number Publication date
JP2010198433A (en) 2010-09-09

Similar Documents

Publication Publication Date Title
EP2684114B1 (en) Task-based address bar and tabs scaling
US11320975B2 (en) Automatically generating and applying graphical user interface resize-constraints based on design semantics
JP4945813B2 (en) Print structured documents
EP1727029A1 (en) Systems and methods for displaying linked information in a sorted context
US8972863B2 (en) Standard schema and user interface for website maps
CA2810365A1 (en) Branded browser frame
JP5604386B2 (en) Information processing apparatus, information processing apparatus control method, program, and information recording medium
JP5255483B2 (en) Method, apparatus and program for facilitating object selection
US11269950B2 (en) Analysis for framework assessment
US20140304578A1 (en) Website Content Identification in a Content Management System
US10795564B2 (en) Content display control method and user terminal for performing content display control method
TWI433028B (en) Method, apparatus and program for facilitating selection of object on display screen
EP3043251A1 (en) Method of displaying content and electronic device implementing same
JP5733342B2 (en) Display control apparatus and program
US20090031224A1 (en) Method, system, and computer program product for visually associating a static graphic image and html text on a web page
RU2595920C2 (en) Browser frame with focusing on website
JP5028980B2 (en) Document editing apparatus and program
US20070263010A1 (en) Large-scale visualization techniques
JP2009223563A (en) Display processor, display processing method, display processing program, and recording medium
JP7159710B2 (en) Information processing device and program
JP2008076667A (en) Image display apparatus, image display method, and program
JP2015022496A (en) Control program, control method, and control device
JP2014203200A (en) Information processing device, information processing system, control method of information processing device and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130419

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160426

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees