WO2013015381A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2013015381A1
WO2013015381A1 PCT/JP2012/069027 JP2012069027W WO2013015381A1 WO 2013015381 A1 WO2013015381 A1 WO 2013015381A1 JP 2012069027 W JP2012069027 W JP 2012069027W WO 2013015381 A1 WO2013015381 A1 WO 2013015381A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
image
area
information
foreground
Prior art date
Application number
PCT/JP2012/069027
Other languages
English (en)
French (fr)
Inventor
清晴 相澤
茶民 森川
春樹 杉山
小川　誠
Original Assignee
国立大学法人 東京大学
ｆｏｏ．ｌｏｇ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人 東京大学, ｆｏｏ．ｌｏｇ株式会社 filed Critical 国立大学法人 東京大学
Publication of WO2013015381A1 publication Critical patent/WO2013015381A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Definitions

  • the present invention relates to an image processing apparatus, and more particularly to improvement in convenience of processing operation.
  • mobile terminals that can perform the same processing as a general computer, such as so-called smartphones, are widely used. Many of such smartphones have a relatively small screen and can be used to specify rough points on an image, such as using a touch panel.
  • Patent Document 1 discloses an example in which segmentation processing is used for object recognition.
  • Such a conventional segmentation technique is based on the premise that when a graph cut is used, for example, a shape surrounding a region (foreground) to be extracted is designated in advance as an initial region.
  • a graph cut for example, a shape surrounding a region (foreground) to be extracted is designated in advance as an initial region.
  • this when this is mounted on a smartphone, it may be difficult to perform segmentation processing because detailed area designation is difficult.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image processing apparatus that can achieve desired segmentation processing and improve the convenience of processing operation even by rough coordinate designation. To do.
  • the present invention for solving the problems of the conventional example is an image processing apparatus, means for displaying image information to be processed, means for receiving at least one designation of a point in the displayed image information, For each of the received points, a region forming means for forming a region of a predetermined shape including the point in the image information, and performing segmentation processing using the information of the formed region as an initial region of the foreground, the image information Are separated into foreground and background, and output means for outputting the image portion of the foreground obtained by the separation.
  • the region forming means may set the size of the region of the predetermined shape to a size that touches an adjacent region of the predetermined shape, or a size that touches a shape surrounding the image information.
  • the region forming means further forms a small region within the formed region having a predetermined shape and including the designated point included in the region, and the separating unit includes the small region.
  • the separation process may be performed assuming that all of the pixels are included in the foreground.
  • the separation unit further performs a segmentation process using an area outside the predetermined shape formed by the region forming unit as an initial region of the background. Is.
  • the desired segmentation process can be achieved even by rough coordinate designation, and the convenience of the processing operation can be improved.
  • the image processing apparatus 1 includes a control unit 11, a storage unit 12, an operation unit 13, a display unit 14, and an image acquisition unit 15. It is configured.
  • control unit 11 is a program control device such as a CPU (Central Processing Unit), and operates according to a program stored in the storage unit 12.
  • control unit 11 acquires image information to be processed and causes the display unit 14 to display and output the image information.
  • control unit 11 accepts at least one designation of a point in the displayed image information, and forms each region of a predetermined shape including the accepted point in the image information. Then, the control unit 11 performs segmentation processing using the formed region information as the initial region of the foreground, separates the image information into the foreground and the background, and outputs the foreground image portion obtained by the separation. Details of specific processing by the control unit 11 will be described in detail later.
  • the storage unit 12 is a memory device or the like and holds a program executed by the control unit 11. This program may be provided by being stored in a computer-readable recording medium such as a DVD-ROM (Digital Versatile Disc Disc Read Only Memory) and copied to the storage unit 12.
  • the storage unit 12 also operates as a work memory for the control unit 11.
  • the operation unit 13 is a transparent touch panel arranged on the display unit 14, for example.
  • the operation unit 13 generates information indicating a position instructed by touching the user and outputs the information to the control unit 11.
  • the display unit 14 is a liquid crystal display panel or the like, and displays and outputs image information in accordance with an instruction input from the control unit 11.
  • the image acquisition unit 15 is at least one of an imaging unit that acquires image information by imaging, such as a camera, or a communication unit that acquires image information by communication with an external device such as a network interface or a USB (Universal Serial Bus) interface. including.
  • the image acquisition unit 15 outputs the acquired image information to the control unit 11.
  • the control unit 11 stores the image information acquired and output by the image acquisition unit 15 in the storage unit 12.
  • the control unit 11 is functionally operated with the configuration illustrated in FIG. 2 by executing a program stored in the storage unit 12. That is, the control unit 11 is functionally configured to have an image information acquisition unit 21, an image display control unit 22, a designated point receiving unit 23, an area forming unit 24, a separation unit 25, an output unit 26, an information And a processing unit 27.
  • the image information acquisition unit 21 reads one of the image information stored in the storage unit 12 in accordance with an instruction from the user. Further, the image information acquisition unit 21 may instruct the image acquisition unit 15 to acquire and acquire image information in accordance with an instruction from the user.
  • the image display control unit 22 causes the display unit 14 to display and output the image information acquired by the image information acquisition unit 21.
  • the designated point receiving unit 23 indicates a position (designation of a point in the image information) indicated by the user operating the operation unit 13 on the image information displayed and output by the display unit 14 by the image display control unit 22. Accept at least one.
  • the operation unit 13 is a touch panel laminated on the display unit 14, the operation unit 13 displays pixel position information (coordinate information) on the laminated display unit 14 corresponding to the position touched by the user. Output.
  • the designated point receiving unit 23 Each time the designated point receiving unit 23 receives input of coordinate information designated by the user from the operation unit 13, the designated point receiving unit 23 accumulates and stores the coordinate information P as a processing target coordinate information list in the storage unit 12 (FIG. 3). . In addition, the designated point receiving unit 23 receives information indicating that the user has long-pressed one point on the operation unit 13 (an operation for keeping the point on the touch panel to remain for a predetermined time or longer) from the operation unit 13. You may accept and do the following:
  • the coordinate information Pi is changed according to the drag. Further, when the user touches a deletion instruction icon arranged near the figure, the coordinate information on the processing target coordinate information list is added or changed, such as deleting the coordinate information Pi from the processing target coordinate information list. You may perform the process to perform.
  • the region forming unit 24 refers to the coordinate information included in the processing target coordinate information list, and for each point received by the user's instruction operation, forms a region having a predetermined shape including the point in the image information. Specifically, the region forming unit 24 sequentially selects the coordinate information included in the processing target coordinate information list as the attention coordinate Pg.
  • the region forming unit 24 makes a distance
  • Is selected from the coordinate information Pi (i 1, 2,..., N, where i ⁇ g) included in the processing target coordinate information list. Then, the area forming unit 24 calculates half of the distance
  • to the nearest other point as information rg that defines the size of the area having a predetermined shape including the point Pg. That means rg
  • information ri which defines the size of an area of a predetermined shape including each point.
  • this information ri is stored in the storage unit 12 in association with information specifying the corresponding coordinate information.
  • the separation unit 25 performs segmentation processing using the formed region information as the initial region of the foreground, and separates the image information into the foreground and the background.
  • a known process such as a graph cut can be adopted, and detailed description thereof is omitted here.
  • GrabCut automatic segmentation which is a graph cut implementation example, may be employed. This grab cut is described in detail in C. Rother, V. Kolmogorov, and A. Blake, GrabCut: Interactive foreground extraction using iterated graph cuts, ACM Trans. Graph., Vol. 23, pp. Are listed.
  • the output unit 26 outputs the separated foreground image portion of the image information.
  • the foreground image portion is separated for each coordinate information Pi.
  • the output unit 26 outputs an image portion serving as a foreground for each coordinate information Pi.
  • the information processing unit 27 executes predetermined information processing using the image portion output by the output unit 26. An example of processing by the information processing unit 27 will be described later.
  • This embodiment has the above configuration and operates as described below.
  • the image processing apparatus 1 according to the present embodiment is displayed on the display unit 14 as illustrated in FIG.
  • the image information acquired by the instruction is displayed, and an operation for designating a point is waited (S1).
  • the image processing apparatus 1 acquires and records coordinate information on the image information corresponding to the tapped position (S2). ). The image processing apparatus 1 repeats the process S2 until the user performs an operation indicating that the designation has been completed, and accumulates and records the coordinate information of at least one designated point.
  • the image processing apparatus 1 refers to the coordinate information included in the processing target coordinate information list, and for each point received by the user's instruction operation, A region having a predetermined shape including the image is formed in the image information (S3).
  • the predetermined shape is, for example, a circle.
  • each region has a size not larger than the size in contact with each other without overlapping.
  • the image processing apparatus 1 executes a segmentation process using a program such as a grab cut with the formed area as an initial area representing the foreground (S4). Then, out of the image information obtained by the segmentation process, a partial image serving as the foreground is extracted as a process target (S5), and a predetermined process is executed (S6). Note that in the process S2, the user does not necessarily tap each point in all image portions to be extracted, and the image processing apparatus 1 does not have to repeat the process S2. In this case, when one point is designated in the process S2, the process from the process S3 to the process S6 is executed for each designation, and after the process S6 is completed, the process returns to the process S2 to continue the process or is terminated by the user. Is accepted and the process ends. In the process S6, an area adjustment process may be received from the user, and the processes after the process S4 may be re-executed for the adjusted area.
  • a program such as a grab cut with the formed area as an initial area representing the fore
  • control unit 11 of the image processing apparatus 1 may perform the following processing as the processing of the region forming unit 24 and the separation unit 25. That is, the area forming unit 24 further sets the coordinates represented by the coordinate information Pi in an area of a predetermined shape such as a circular shape or a rectangular shape determined for the coordinate information Pi (referred to as an outer peripheral area for distinction).
  • a small region may be further formed. Specifically, the small area has a shape similar to the determined shape of the outer peripheral area and has a predetermined size. In addition, when the small area determined by the predetermined size protrudes from the determined outer peripheral area, the area where the outer peripheral area and the small area overlap (to be determined by their logical product) is reduced. This is an area.
  • this small region is set to be a shape similar to the shape of the determined outer peripheral region, and a region that is smaller than the size of the outer peripheral region by a predetermined ratio or size. Alternatively, it may be a region having another predetermined shape.
  • the region forming unit 24 determines the half of the distance
  • from the target coordinate information Pg to the other nearest point (the coordinate point represented by the coordinate information Pj), that is, The size of the area is defined as a point through which the outer periphery of the area having a predetermined shape including the point Pg passes through the midpoint of each point. That means rg
  • the present embodiment is not limited to this.
  • the area forming unit 24 superimposes the graphic image representing the formed area on the image information to be processed, and displays it on the display unit 14, and performs the area adjustment according to an instruction to accept the adjustment from the user. Also good.
  • This adjustment can be performed as follows, for example. That is, each time the user taps one point in the area, the size of the tapped area is enlarged.
  • a graphic image representing the formed area is superimposed on the image information to be processed and displayed on the display unit 14 to accept adjustment of the area from the user. I do.
  • ⁇ r′j + rk It is checked whether there is coordinate information Pk and radius rk. That is, as a result of enlarging the size of the area, it is checked whether or not it overlaps with an area related to other coordinate information.
  • the image information acquired by the image processing device 1 is, for example, image information obtained by capturing food and drinks stacked on each of a plurality of dishes.
  • the image processing apparatus 1 defines an area including the tapped position, and extracts an image portion including food and drink by segmentation processing using the area as an initial area of the foreground.
  • the image processing apparatus 1 uses a standard one for a feature amount calculated based on a pixel value, such as a histogram of pixel values of an extracted image portion, and a dish identified by the feature amount.
  • a pixel value such as a histogram of pixel values of an extracted image portion, and a dish identified by the feature amount.
  • a database component value database
  • nutritional component values for example, calories and salt content
  • a defined amount for example, for one person
  • the nutritional component value of the predetermined quantity is acquired.
  • a database can be created from information such as “Food Standard Composition Table” of the Ministry of Education, Culture, Sports, Science and Technology.
  • the image processing apparatus 1 corrects the acquired nutrient value based on the number and size of the extracted foreground image portions. Specifically, if the average number of the foreground image portions extracted by one person in an ordinary meal is N dishes and the number of extracted foreground image portions does not exceed N, the size of the extracted foreground image portion is larger. Then, an average value rave is calculated (for example, it may be a radius ri of a circle circumscribing the extracted image portion). Then, taking the average value as the size for one person, the size of each extracted image portion of the foreground ri / rave is multiplied by the nutrient value obtained from the component value database for the corresponding image portion, and accumulated.
  • the image processing apparatus 1 displays the accumulation result on the display unit 14 and presents it to the user.
  • each region may be individual, the region that is subject to adjustment by the user may be enlarged or reduced according to an instruction, and the size of the adjacent region may not be adjusted. .
  • ⁇ r is a predetermined value as an increment for one tap.
  • the area forming unit 24 outputs information indicating the presence or absence of overlapping areas to the separating unit 25.
  • the separation unit 25 performs segmentation processing using the information on the formed area as the initial area of the foreground, and outputs image information as described above. , Separate into foreground and background.
  • the separation unit 25 separates the foreground and the background by executing segmentation processing at least for areas that do not overlap each other and individually for overlapping areas.
  • the region forming unit 24 determines in advance regardless of the nearest coordinate information with respect to the input coordinate information Pi.
  • the user may specify the coordinate information about the initial region, and then repeat the tap as appropriate, and repeat the tap until the size of the region becomes a desired one.
  • the region forming unit 24 accepts the adjustment process, and the region is enlarged according to the number of taps.
  • the adjustment process enables both the enlargement and reduction of the region. Also good.
  • the weight value Wi is initially set to a predetermined initial value X, for example, “0”.
  • a predetermined size rdefault is set as an initial value of the size of the area corresponding to the coordinate information Pi regardless of the nearest coordinate information with respect to the input coordinate information Pi.
  • the region forming unit 24 forms a region in the process S3
  • a graphic image representing the formed region is superimposed on the image information to be processed and displayed on the display unit 14, and each region is displayed.
  • An icon that is tapped when instructing enlargement of an area for example, an icon with a “+” symbol
  • an icon that is tapped when instructing reduction of an area for example, “ ⁇ ” ”Symbol icon. Then, processing for accepting the adjustment of the area from the user is performed.
  • These icons for enlarging or reducing instructions only need to be able to specify which region is related, and the display position is not particularly limited to the above.
  • the icon for enlargement / reduction associated with the graphic image in one of the areas is tapped, or “pinch out” or “pinch in” in which one of the areas is specified.
  • the region forming unit 24 refers to the information of the formed region, and specifies the specified region Pi (the region related to the icon that is tapped when the icon is tapped).
  • the area forming unit 24 adjusts the weight value Wi associated with the specified coordinate information Pi. That is, when an icon for instructing expansion of an area is tapped, for example, the weight value Wi is increased by the number of taps, and when an icon for instructing reduction of the area is tapped, for example, the weight value Wi is decreased by the number of taps.
  • the proximity amount (the distance between the initial two points and the distance between the two points) depends on the amount at which the points touched by two fingers are close or separated in these operations.
  • the absolute value of the difference between the two points after the operation) is multiplied by a predetermined coefficient, and only the result of the multiplication is subtracted from the current weight value Wi.
  • the separation amount (the difference between the initial distance between the two points and the distance between the two points after the operation) (Absolute value) is multiplied by a predetermined coefficient, and the current weight value Wi is increased by the result of the multiplication.
  • the area forming unit 24 uses the weight value Wi adjusted in this way to calculate the size r i of the specified area related to the coordinate information Pi specified earlier.
  • ⁇ r is a predetermined value as an enlargement / reduction amount per increment “1” of the weight value W
  • rdefault is an initial value of the size of the region
  • X is an initial value of the weight value.
  • the same processing may be performed with the waveform of a circle circumscribing (or inscribed) the region as this ri.
  • the size of the region may be determined by allowing a predetermined position on the region, such as the position of the corner of the rectangle, to be dragged.
  • the area forming unit 24 outputs information indicating the presence or absence of overlapping areas to the separating unit 25.
  • the separation unit 25 that performs the processing from step S4 onward performs segmentation processing using the information on the formed region as the initial region of the foreground, as described above. To separate the image information into foreground and background.
  • the separation unit 25 separates the foreground and the background by executing segmentation processing at least for areas that do not overlap each other and individually for overlapping areas.
  • the area forming unit 24 adjusts the size after adjustment according to the change in the distance between the two points designated in the number of taps, the pinch-out operation, or the like. Instead of determining the size of the subsequent area, the size of the adjusted area may be determined according to a predetermined rule.
  • Wi when the area forming unit 24 uses the weight value Wi, when an enlargement operation is performed on the area corresponding to the coordinate information Pi, Wi is incremented by “1”.
  • r′i rdefault + ⁇ r ⁇ (Wi ⁇ X)
  • the temporary size may be adjusted while incrementing Wi by “1” until the comparison result matches a predetermined condition.
  • Wi is decremented by “1”
  • r′i rdefault + ⁇ r ⁇ (Wi ⁇ X)
  • Wi may be decremented by “1” and the provisional size may be adjusted.
  • the statistic of the pixel value may be, for example, an average of pixel values or a mode value in a histogram.
  • the condition relating to the comparison result is, for example, that the absolute value of the average difference between the pixel values inside and outside the region exceeds a predetermined threshold value, or the absolute value of the difference between the mode values inside and outside the region is predetermined. It may be set as a condition such as exceeding the threshold value.
  • the provisional magnitude r'i falls below a predetermined lower limit value, the decrement is stopped at that point, and the provisional magnitude r'i at that time is It may be set as a new size of the area corresponding to the coordinate information Pi, or when the area of the temporary size r′i corresponding to the coordinate information Pi is in contact with the side of the image information, the increment is stopped.
  • the provisional size r′i at that time may be set as a new size of the area corresponding to the coordinate information Pi.
  • the image portion of each food and drink can be specified from the image information of the food and drink, for example, with a simple operation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】大ざっぱな座標指定によっても、所望のセグメンテーション処理を達成でき、処理操作の利便性を向上できる画像処理装置を提供する。 【解決手段】処理対象となる画像情報を表示し、表示した画像情報内の点の指定を少なくとも一つ受け入れ、受け入れた点ごとに、当該点を含む所定形状の領域を画像情報内に形成して、当該形成した領域の情報を前景の初期領域として、セグメンテーション処理を実行し、画像情報を、前景と背景とに分離する画像処理装置である。

Description

画像処理装置
　本発明は、画像処理装置に係り、特に処理操作の利便性の向上に関する。
　近年、いわゆるスマートフォン等、一般的なコンピュータと同様の処理が可能な携帯端末が広く利用されている。このようなスマートフォンでは、画面が比較的小さく、また操作もタッチパネルを利用するなど、画像上においても大ざっぱな点を指定できる程度となっているものが多い。
　一方、与えられた画像情報から対象となる領域を抽出する技術として、画像セグメンテーションと呼ばれる技術が知られている。こうしたセグメンテーションの処理の方法として、グラフカット（Graph Cuts）、領域拡張法などの種々の方法がある。例えば特許文献１には、物体認識のためにセグメンテーション処理を利用する例が開示されている。
特開２０１０－０２７０２５号公報
　こうした従来のセグメンテーション技術では、例えばグラフカットを用いる場合に、抽出したい領域（前景）を取り囲む形状を初期領域として事前に指定することが前提となっている。しかしながら、既に述べたように、これをスマートフォン上に実装する場合、詳細な領域指定が困難であるために、セグメンテーションの処理が必ずしも十分にできない場合がある。
　本発明は上記実情に鑑みて為されたもので、大ざっぱな座標指定によっても、所望のセグメンテーション処理を達成でき、処理操作の利便性を向上できる画像処理装置を提供することをその目的の一つとする。
　上記従来例の問題点を解決する本発明は、画像処理装置であって、処理対象となる画像情報を表示する手段と、前記表示した画像情報内の点の指定を少なくとも一つ受け入れる手段と、前記受け入れた点ごとに、当該点を含む所定形状の領域を前記画像情報内に形成する領域形成手段と、前記形成した領域の情報を前景の初期領域として、セグメンテーション処理を実行し、前記画像情報を、前景と背景とに分離する分離手段と、前記分離して得た前景の画像部分を出力する出力手段と、とを含むこととしたものである。
　ここで前記領域形成手段は、所定形状の領域の大きさを、隣接する所定形状の領域に接する大きさとするか、または画像情報を取り囲む形状に接する大きさとしてもよい。
　また、前記領域形成手段は、前記形成した所定形状の領域内の小領域であって、当該領域に含まれる前記指定された点を含む小領域をさらに形成し、前記分離手段は、当該小領域内のすべての画素が前景に含まれるものとして分離処理を行うこととしてもよい。
　さらに本発明の一態様に係る画像処理装置は、さらに、前記分離手段は、前記領域形成手段が形成した所定形状の領域外の部分を、背景の初期領域として、セグメンテーション処理を実行することとしたものである。
　このように点の指定に基づいて初期領域を形成し、セグメンテーション処理を行うことで、大ざっぱな座標指定によっても、所望のセグメンテーション処理を達成でき、処理操作の利便性を向上できる。
本発明の実施の形態に係る画像処理装置の構成例を表すブロック図である。 本発明の実施の形態に係る画像処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る画像処理装置が生成する処理対象座標情報のリストの例を表す説明図である。 本発明の実施の形態に係る画像処理装置が表示する画面例を表す説明図である。 本発明の実施の形態に係る画像処理装置の領域生成の処理例を表す説明図である。 本発明の実施の形態に係る画像処理装置が生成する領域の例を表す説明図である。 本発明の実施の形態に係る画像処理装置の動作例を表すフローチャート図である。
　本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置１は、図１に例示するように、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、画像取得部１５とを含んで構成されている。
　ここで制御部１１は、例えばＣＰＵ（Central Processing Unit）等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態では、この制御部１１は、処理対象となる画像情報を取得して表示部１４に表示出力させる。
　またこの制御部１１は、表示された画像情報内の点の指定を少なくとも一つ受け入れ、当該受け入れた各点を含む所定形状の各領域を画像情報内に形成する。そして制御部１１は、形成した領域の情報を前景の初期領域としてセグメンテーション処理を実行し、画像情報を、前景と背景とに分離し、当該分離して得た前景の画像部分を出力する。この制御部１１による具体的な処理の内容については後に詳しく述べる。
　記憶部１２は、メモリデバイス等であり、制御部１１によって実行されるプログラムを保持する。このプログラムはＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）等のコンピュータ可読な記録媒体に格納されて提供され、この記憶部１２に複写されたものであってもよい。また、この記憶部１２は、制御部１１のワークメモリとしても動作する。
　操作部１３は、例えば表示部１４に積層して配された透明のタッチパネルである。この操作部１３は、利用者が触れるなどして指示した位置を表す情報を生成して、制御部１１に出力する。表示部１４は、液晶ディスプレイパネルなどであり、制御部１１から入力される指示に従い、画像情報を表示出力する。
　画像取得部１５は、例えばカメラなど、撮像により画像情報を取得する撮像部、あるいは、ネットワークインタフェース、ＵＳＢ（Universal Serial Bus）インタフェース等外部の装置との通信により画像情報を取得する通信部の少なくとも一方を含む。この画像取得部１５は、取得した画像情報を制御部１１に出力する。
　次に本実施の形態の制御部１１の動作について説明する。本実施の形態の制御部１１は、画像取得部１５が取得して出力する画像情報を記憶部１２に格納する。また、この制御部１１は、記憶部１２に格納されたプログラムを実行することで、機能的に図２に例示する構成を有したものして動作する。すなわち、この制御部１１は機能的には、画像情報取得部２１と、画像表示制御部２２と、指定点受入部２３と、領域形成部２４と、分離部２５と、出力部２６と、情報処理部２７とを含んで構成される。
　画像情報取得部２１は、利用者からの指示に従い、記憶部１２に格納した画像情報の一つを読み出す。また、この画像情報取得部２１は、利用者からの指示に従い、画像取得部１５の撮像部に指示して、画像情報を撮像して取得してもよい。画像表示制御部２２は、画像情報取得部２１が取得した画像情報を表示部１４に表示出力させる。
　指定点受入部２３は、画像表示制御部２２によって表示部１４が表示出力している画像情報上で、利用者が操作部１３を操作して指示した位置（画像情報内の点の指定）を少なくとも一つ、受け入れる。操作部１３が表示部１４に積層されたタッチパネルである場合、操作部１３は、利用者が触れた位置に対応する、積層されている表示部１４上の画素の位置の情報（座標情報）を出力する。
　指定点受入部２３は、操作部１３から利用者が指定した座標情報の入力を受けるごとに、当該座標情報Ｐを、記憶部１２に処理対象座標情報リストとして蓄積して格納する（図３）。また、この指定点受入部２３は、利用者が操作部１３上の一点を長押し（タッチパネル上の一点を抑えたまま、一定時間以上そのままにする操作）したことを表す情報を操作部１３から受け入れ、次の処理を行ってもよい。
　すなわち、長押しされた座標情報Ｓが入力されると、処理対象座標情報リストに含まれる座標情報Ｐ1，Ｐ2，…Ｐnのうち、
｜Ｓ－Ｐi｜＜Ｔ
（ただし、｜Ｓ－Ｐi｜は、座標情報Ｓで表される座標と、Ｐiで表される座標との距離、ｉ＝１，２，…ｎ、Ｔは予め定めたしきい値）を満足する座標情報Ｐiがあるか否かを調べ、そのようなＰiがあれば（複数あれば、｜Ｓ－Ｐi｜が最も小さいＰiとする）、当該Ｐiを取り囲む所定形状の図形を表示部１４に表示し、また、当該図形の近傍に削除指示を受け入れるアイコン（例えばＸ印のアイコン）を表示する。この表示は例えば図４に例示するようになる。
　そして利用者がこの所定形状の図形を表示部１４上でドラッグすると、ドラッグに従って座標情報Ｐiを変更する。また、利用者が当該図形近傍に配された削除指示用のアイコンに触れると、当該座標情報Ｐiを、処理対象座標情報リストから削除する等、処理対象座標情報リスト上の座標情報を追加、変更する処理を行わせてもよい。
　領域形成部２４は、処理対象座標情報リストに含まれる座標情報を参照し、利用者の指示操作により受け入れた点ごとに、当該点を含む所定形状の領域を画像情報内に形成する。具体的にこの領域形成部２４は、処理対象座標情報リストに含まれる座標情報を順次、注目座標Ｐgとして選択する。
　領域形成部２４は、注目座標Ｐgとの間で、距離
｜Ｐi－Ｐg｜
が最も小さい、最近傍の座標情報Ｐjを処理対象座標情報リストに含まれる座標情報Ｐi（ｉ＝１，２，…ｎ、ただしｉ≠ｇ）のうちから選択する。そして領域形成部２４は、最近傍の他の点までの距離｜Ｐj－Ｐg｜の半分を、点Ｐgを含む所定形状の領域の大きさを規定する情報ｒgとして算出する。つまり、
ｒg＝｜Ｐi－Ｐg｜／２
とする（図５）。
　領域形成部２４は、処理対象座標情報リストに含まれる座標情報Ｐi（ｉ＝１，２，…ｎ）に関連して、それぞれの点を含む所定形状の領域の大きさを規定する情報ｒi（ｉ＝１，２，…ｎ）を生成すると、この情報ｒiを、対応する座標情報を特定する情報に関連づけて記憶部１２に格納する。領域形成部２４はそして、座標情報Ｐiがあらわす座標を中心とし、半径がｒiである円形状の領域（ｉ＝１，２…，ｎ）を生成する（図６）。このようにすることで、所定形状の領域の大きさが隣接する（最近傍の）所定形状の領域に接する大きさとなる。
　またこの領域形成部２４は、ｎ＝１、つまり、処理対象座標情報リストに含まれる座標情報Ｐiが１つしかなければ、領域の大きさを画像情報を取り囲む形状に接する大きさとする。つまり座標情報Ｐiが表す座標を中心とし、画像情報に外接する矩形に内接する（枠に接する最大の大きさの）円形状の領域を生成することとすればよい。
　分離部２５は、形成した領域の情報を前景の初期領域として、セグメンテーション処理を実行し、画像情報を、前景と背景とに分離する。このセグメンテーション処理については、例えばグラフカットなどの公知の処理を採用できるので、ここでの詳しい説明を省略する。具体的には、グラフカットの実装例であるグラブカット（GrabCut）の自動セグメンテーション（Automatic segmentation）を採用してもよい。このグラブカットは例えば、C. Rother, V. Kolmogorov, and A. Blake, GrabCut: Interactive foreground extraction using iterated graph cuts, ACM Trans. Graph., vol. 23, pp. 309－314, 2004に詳しい説明が記載されている。
　出力部２６は、画像情報のうち、分離された前景の画像部分を出力する。本実施の形態では、座標情報Ｐiごとに前景となる画像部分が分離される。出力部２６は、座標情報Ｐiごとの前景となる画像部分を出力する。情報処理部２７は、出力部２６が出力した画像部分を用いて予め定めた情報処理を実行する。この情報処理部２７による処理の例については後に述べる。
　本実施の形態は、以上の構成を備えており、次に述べるように動作する。利用者が本実施の形態の画像処理装置を操作して、画像情報を取得して表示するよう指示すると、図７に例示するように本実施の形態の画像処理装置１は、表示部１４に指示により取得した画像情報を表示し、点を指定する操作を待機する（Ｓ１）。
　利用者が、表示された画像情報上で、抽出したい画像部分中の一点をタップすると画像処理装置１は、当該タップされた位置に対応する画像情報上の座標情報を取得して記録する（Ｓ２）。画像処理装置１は、利用者から指定が終了した旨の操作が行われるまで処理Ｓ２を繰り返して行い、少なくとも一つの指定点の座標情報を蓄積して記録する。
　利用者が点の指定を終了した旨の操作を行うと、画像処理装置１は、処理対象座標情報リストに含まれる座標情報を参照し、利用者の指示操作により受け入れた点ごとに、当該点を含む所定形状の領域を画像情報内に形成する（Ｓ３）。ここでは所定形状は例えば円であるとする。また、各領域は重なり合わずに互いに接する大きさ以下の大きさとする。
　画像処理装置１は、形成した領域を、前景を表す初期領域としてグラブカットなどのプログラムを利用してセグメンテーション処理を実行する（Ｓ４）。そしてセグメンテーションの処理により得られた画像情報のうち、前景となる部分画像を処理の対象として取り出して（Ｓ５）、予め定めた処理を実行する（Ｓ６）。
　なお、処理Ｓ２にて利用者は必ずしも抽出したいすべての画像部分中の点をそれぞれタップすることはなく、画像処理装置１は処理Ｓ２を繰り返して行わなくてもよい。この場合は、処理Ｓ２にて一点が指定されると、当該指定ごとに処理Ｓ３からＳ６の処理を実行し、処理Ｓ６の終了後に、処理Ｓ２に戻って処理を続けるか、または利用者から終了の指示を受け入れて処理を終了する。なお、処理Ｓ６では、利用者から領域の調整処理を受けて、調整後の領域について処理Ｓ４以下の処理を再実行してもよい。
　さらに本実施の形態の画像処理装置１の制御部１１は、領域形成部２４及び分離部２５の処理として次のような処理を行ってもよい。すなわち領域形成部２４は、座標情報Ｐiについて確定した円形状、または矩形状など、予め定めた形状の領域（区別のため外周領域と呼ぶ）内に、さらに当該座標情報Ｐiによって表される座標を含む小領域をさらに形成してもよい。この小領域は具体的に、確定した外周領域の形状と相似の形状であって、予め定めた大きさのものとする。なお、この予め定めた大きさによって確定される小領域が、確定した外周領域からはみ出る場合は、外周領域と小領域とが重なりあっている（いわばそれらの論理積によって確定される）領域を小領域とする。
　また別の例では、この小領域は、確定した外周領域の形状と相似の形状であって、外周領域の大きさに対して予め定めた比ないし大きさだけ小さい領域であるものとして設定してもよいし、他の、予め定めた形状の領域としてもよい。
　そして制御部１１の分離部２５は、この小領域内にある画素はすべて前景を構成する画素であるとしてセグメンテーションの処理を実行する。具体的にグラブカットを用いる場合、外周領域を初期領域として自動セグメンテーションを行った後、この小領域が利用者から前景として指定された領域（C. Rother, V. Kolmogorov, and A. Blake, GrabCut: Interactive foreground extraction using iterated graph cuts, ACM Trans. Graph., vol. 23, pp. 309－314, 2004においてαn＝１（foreground brush）とされる領域）であるとして、再度セグメンテーションの評価を実行する。
　さらに本実施の形態の画像処理装置１では、分離部２５の処理として、画像情報のうち、どの外周領域にも含まれない部分（領域外の部分）については、背景の初期領域としてセグメンテーションの処理を行ってもよい。具体的に、グラブカットを用いる場合、外周領域を初期領域として自動セグメンテーションを行った後、この小領域が利用者から前景として指定された領域（C. Rother, V. Kolmogorov, and A. Blake, GrabCut: Interactive foreground extraction using iterated graph cuts, ACM Trans. Graph., vol. 23, pp. 309－314, 2004においてαn＝０（background brush）とされる領域）であるとして、再度セグメンテーションの評価を実行する。
　さらにここまでの説明において、領域形成部２４は、注目座標情報Ｐｇから最近傍の他の点（座標情報Ｐjで表される座標の点）までの距離｜Ｐj－Ｐg｜の半分、つまりこれらの各点の中点を、点Ｐgを含む所定形状の領域の外周が通る点として、領域の大きさを規定していた。つまり、
ｒg＝｜Ｐj－Ｐg｜／２
としていた。
　しかしながら、本実施の形態はこれに限られるものではない。例えば領域形成部２４は、形成した領域を表す図形画像を、処理の対象となっている画像情報に重ね合わせて、表示部１４に表示出力し、領域の調整を利用者から受け入れる指示に従って行ってもよい。この調整は例えば次のようにして行うことができる。すなわち利用者が領域内の一点をタップするごとに、当該タップされた領域の大きさを拡大するようにする。
　このために領域形成部２４は、この調整を受け入れる処理を行う際には、予め各座標情報Ｐi（ｉ＝１，２，…，ｎ）についてタップ回数を表す情報Ｔi（ｉ＝１，２，…，ｎ）を関連づけて記憶部１２に格納して保持する。このタップ回数Ｔiは、当初は、それぞれ１回ずつなのでそれぞれ「１」となる。
　一例として、処理Ｓ３において領域を形成すると、形成した領域を表す図形画像を、処理の対象となっている画像情報に重ね合わせて表示部１４に表示出力し、領域の調整を利用者から受け入れる処理を行う。
　ここで利用者が調整のために指定した点の座標情報が入力されると、領域形成部２４は形成した領域の情報を参照して、当該座標情報が表す点を含む領域を特定する。つまり、利用者が調整のために指定した点の座標情報をＰaとして、処理対象座標情報リストに含まれる座標情報Ｐi（ｉ＝１，２，…，ｎ）と、それぞれに対応する領域の大きさ（ここでは円の半径ｒi）とを用いて、
｜Ｐa－Ｐi｜≦ｒi
なる座標情報Ｐiを検索する。そして、そのような座標情報Ｐiがあれば、領域形成部２４は座標情報Ｐiに対応する領域を指定された領域として、当該座標情報Ｐiに関連づけられたタップ回数Ｔiを「１」だけインクリメントする。
　そして領域形成部２４は、当該座標情報Ｐiとその最近傍の他の点までの距離｜Ｐj－Ｐi｜を用いて、まず指定した座標情報Ｐiに係る、指定された領域の大きさｒiを、
ｒ′i＝（Ｔi／（Ｔi＋Ｔj））×｜Ｐj－Ｐi｜
に更新する。なお、Ｔjは、座標情報Ｐjに関連づけられたタップ回数である。また領域形成部２４は、座標情報Ｐiの最近傍の座標情報Ｐjについて、当該座標情報Ｐjに係る領域の大きさｒjを
ｒ′j＝（Ｔj／（Ｔi＋Ｔj））×｜Ｐj－Ｐi｜
とする。
　このとき、領域形成部２４は、
｜Ｐi－Ｐk｜＜ｒ′i＋ｒk
または
｜Ｐj－Ｐk｜＜ｒ′j＋ｒk
なる座標情報Ｐkならびに半径ｒkがないかを調べる。つまり領域の大きさを拡大等した結果、他の座標情報に係る領域と重なり合うこととならないかを調べる。そして座標情報Ｐiについて、｜Ｐi－Ｐk｜＜ｒ′i＋ｒkなる（重なり合うこととなる）Ｐk及びｒkが見出されたときには、領域形成部２４は、
ｒ′i＝｜Ｐi－Ｐk｜－ｒk
とする。また座標情報Ｐjについて、｜Ｐj－Ｐk｜＜ｒ′j＋ｒkなる（重なり合うこととなる）Ｐk及びｒkが見出されたときには、領域形成部２４は、
ｒ′j＝｜Ｐj－Ｐk｜－ｒk
とする。
　また、利用者が領域の調整を終了する指示（領域を確定する指示）を入力すると、処理Ｓ４に移行して、処理を続ける。
　次に、本実施の形態の画像処理装置１において制御部１１が、画像情報から処理対象として取り出した前景となる画像部分について行う処理の例について述べる。本実施の形態のある例によると、画像処理装置１が取得する画像情報は、例えば複数の皿のそれぞれに盛られた飲食物を撮像した画像情報である。
　そして利用者は、表示された飲食物を撮像した画像から、各皿の飲食物の部分をタップする。画像処理装置１は、タップされた位置を含む領域を画定し、この領域を前景の初期領域としてセグメンテーション処理により、飲食物を含んだ画像部分を抽出する。
　本実施の形態の画像処理装置１は、抽出した画像部分の画素値のヒストグラム等、画素値に基づいて演算される特徴量と、当該特徴量により識別される料理について、標準的なものについて予め定めた分量の場合（例えば１人分）の栄養成分値（例えばカロリーや塩分等）とを関連づけて保持したデータベース（成分値データベース）を参照して、抽出された画像部分ごとに、標準的、かつ予め定めた分量の栄養成分値を取得する。なお、こうしたデータベースは、文部科学省の「食品標準成分表」等の情報から作成できる。
　画像処理装置１は、次に、抽出した前景の画像部分の数と大きさとにより、取得した栄養成分値を補正する。具体的に、通常の食事において一人が喫食する飲食物の種類を平均的にＮ皿として、抽出した前景の画像部分の数がこのＮを超えていなければ、この抽出した前景の画像部分の大きさ（例えば抽出した画像部分に外接する円の半径ｒiでよい）の平均値ｒaveを演算する。そして当該平均値を１人分の大きさとして、抽出した前景の各画像部分の大きさｒi／ｒaveを対応する画像部分について成分値データベースから取得した栄養成分値に乗じて、累算する。
　また、抽出した前景の画像部分の数がこのＮを超えていれば、Ｎ以下の画像部分が得られるまで、抽出した前景の画像部分のうち大きさが大きいものから順にｎ個、または、小さいものから順にｍ個の少なくとも一方を、ｎ，ｍを漸増させつつ繰り返して、除いていく。そして、この結果、Ｎ以下の画像部分が得られたならば、それらの大きさの平均値ｒaveを演算する。そして当該平均値を１人分の大きさとして、抽出した前景の各画像部分の大きさｒi／ｒaveを対応する画像部分について成分値データベースから取得した栄養成分値に乗じて、累算する。そして画像処理装置１は、この累算の結果を表示部１４に表示し、利用者に提示する。
［個別の大きさ］
　また領域形成部２４が、形成した領域の一つに対して利用者の調整の指示を受け入れる場合に、ここまでの説明では、調整の対象となった領域の大きさを指示に応じて拡大するとともに、隣接する領域の大きさについては、当該調整の対象となった領域と重なり合わず、接することとなるよう縮小することとしてきた。しかしながら本実施の形態はこれに限られるものではない。
　個々の領域の大きさを個別のものとして、利用者による調整の対象となった領域を指示に応じて拡大ないし縮小するようにし、隣接する領域の大きさについては調整しないようにしても構わない。
　すなわち、利用者が調整のために指定した点の座標情報Ｐaが入力されると、領域形成部２４は、形成した領域の情報を参照して、当該座標情報が表す点を含む領域を特定する。つまり、利用者が調整のために指定した点の座標情報をＰaとして、処理対象座標情報リストに含まれる座標情報Ｐi（ｉ＝１，２，…，ｎ）と、それぞれに対応する領域の大きさ（ここでは円の半径ｒi）とを用いて、
｜Ｐa－Ｐi｜≦ｒi
なる座標情報Ｐiを検索する。そして、そのような座標情報Ｐiがあれば、領域形成部２４は座標情報Ｐiに対応する領域を指定された領域として、当該指定された領域の座標情報Ｐiに関連づけられたタップ回数Ｔiを「１」だけインクリメントする。
　そして領域形成部２４は、この座標情報Ｐiに係る、指定された領域の大きさｒiを、
ｒi＝ｒi＋Δｒ×Ｔi
として、ｒiを更新する（この場合の等号は、左辺の変数に右辺の値を代入することを意味する）。ここでΔｒはタップ一回分の増分として予め定めた値とする。
　この場合、領域形成部２４は、利用者が領域の調整を終了する指示を入力すると、互いに異なる二つの座標情報Ｐi（ｉ＝１，２，…，ｎ）、Ｐj（ｊ＝１，２，…，ｎ）の組み合わせのすべてについて、｜Ｐi－Ｐj｜＜ｒi＋ｒjであるようなｉ，ｊの組み合わせがあるか否か（互いに重なり合う領域があるか否か）を調べる。
　そして領域形成部２４は、重なり合う領域の有無を表す情報を分離部２５に出力する。分離部２５は、重なり合う領域がない旨の情報が入力されているときには、ここまでに説明したのと同様に、形成した領域の情報を前景の初期領域として、セグメンテーション処理を実行し、画像情報を、前景と背景とに分離する。
　一方、分離部２５は、重なり合う領域がある旨の情報が入力されているときには、個々の座標情報Ｐi（ｉ＝１，２，…，ｎ）に係る領域の各々を、前景の初期領域として、個別にセグメンテーション処理を実行する。そして個別のセグメンテーション処理の結果、個別に得られる前景部分の論理和を、画像情報の前景部分とし、また、この前景部分以外の部分を背景とする。
　この例のように、分離部２５は、少なくとも互いに重なり合わない領域については一括して、また重なり合う領域については個別にセグメンテーションの処理を実行して、前景と背景とを分離する。
［前景の大きさを変更する処理の変形例］
　また、領域形成部２４は、領域の調整を受け入れる場合であって、領域間が離れても構わないとする場合には、入力された座標情報Ｐiに対する最近傍の座標情報に関わらず、予め定めた大きさｒdefaultを初期値として、座標情報Ｐiに対応する領域の大きさとしてもよい。つまり、
ｒi＝ｒdefault
とする。
　この場合利用者は、当初領域に関する座標情報を指定して、その後、適宜タップを繰り返して、領域の大きさが所望のものとなるまでタップを繰り返すこととすればよい。
　さらにここまでの説明では、領域形成部２４が調整の処理を受け入れるにあたっては、タップ回数に応じて領域を拡大する例について述べたが、調整の処理では、領域の拡大・縮小の双方を可能としてもよい。
　この例では、領域形成部２４は、拡大・縮小の双方の調整を受け入れる処理を行うため、予め各座標情報Ｐi（ｉ＝１，２，…，ｎ）について拡大縮小の割合を表す重み値Ｗi（ｉ＝１，２，…，ｎ）を関連づけて記憶部１２に格納して保持する。この重み値Ｗiは、当初は、予め定めた初期値Ｘ、例えば「０」としておく。
　また、入力された座標情報Ｐiに対する最近傍の座標情報に関わらず、予め定めた大きさｒdefaultを、座標情報Ｐiに対応する領域の大きさの初期値としておく。
　一例として領域形成部２４は、処理Ｓ３において領域を形成すると、形成した領域を表す図形画像を、処理の対象となっている画像情報に重ね合わせて表示部１４に表示出力するとともに、各領域を表す図形画像の内部ないし外周上に重ね合わせて、領域の拡大を指示する際にタップするアイコン（例えば「＋」記号のアイコン）と、領域の縮小を指示する際にタップするアイコン（例えば「－」記号のアイコン）とを表示する。そして領域の調整を利用者から受け入れる処理を行う。これら、拡大ないし縮小指示のためのアイコンは、どの領域に関連するものかが指定できればそれでよく、表示位置は特に上記のものに限られない。
　さらに別の例では、調整の対象となる領域を指定して、指二本で広げるあるいは狭めるような操作（アップル社のアイフォーンでいう、「ピンチアウト」ならびに「ピンチイン」操作）を行うことで、拡大縮小の指示が行われてもよい。
　ここで利用者が調整のために、いずれかの領域の図形画像に関連づけられた拡大・縮小のためのアイコンがタップされるか、またはいずれかの領域を指定した「ピンチアウト」や「ピンチイン」といった操作が行われると、領域形成部２４は形成した領域の情報を参照して、指定された領域Ｐi（アイコンをタップしたときには当該タップされアイコンに関連する領域）を特定する。
　そして領域形成部２４は、当該特定した座標情報Ｐiに関連づけられた重み値Ｗiを調整する。すなわち、領域の拡大を指示するアイコンがタップされたときには例えば重み値Ｗiをタップされた回数だけ増大させ、領域の縮小を指示するアイコンがタップされたときには例えば重み値Ｗiをタップされた回数だけ減少させる。
　また「ピンチアウト」や「ピンチイン」といった操作の場合は、これらの操作において２つの指の触れている点が近接ないし離隔した量に応じ、近接したときには近接量（当初の２点間の距離と、操作後の２点間の距離との差の絶対値）に、予め定めた係数を乗じ、当該乗じた結果だけ、現在の重み値Ｗiから差引きする。
　また、ピンチアウト操作（２つの指の触れている点が離隔していく操作）がされたときには、離隔量（当初の２点間の距離と、操作後の２点間の距離との差の絶対値）に、予め定めた係数を乗じ、当該乗じた結果だけ、現在の重み値Ｗiを増大させる。
　領域形成部２４は、こうして調整した重み値Ｗiを用いて、先に特定した座標情報Ｐiに係る、指定された領域の大きさｒiを、
ｒi＝ｒdefault＋Δｒ×（Ｗi－Ｘ）
として、ｒiを更新する（この場合の等号は、左辺の変数に右辺の値を代入することを意味する）。ここでのΔｒは、重み値Ｗの増分「１」あたりの拡大縮小量として予め定めた値とし、ｒdefaultは、領域の大きさの初期値、Ｘは重み値の初期値とする。
　なお、ここでは領域が円である場合に限らず、矩形の領域であっても、これに外接（または内接）する円の波形をこのｒiとして同様の処理を行えばよい。また、広く知られているように、例えば矩形であれば、矩形の角の位置など領域上の予め定めた位置をドラッグ可能として領域の大きさを定めさせても構わない。
　さらに領域形成部２４は、利用者が領域の調整を終了する指示を入力すると、互いに異なる二つの座標情報Ｐi（ｉ＝１，２，…，ｎ）、Ｐj（ｊ＝１，２，…，ｎ）の組み合わせのすべてについて、｜Ｐi－Ｐj｜＜ｒi＋ｒjであるようなｉ，ｊの組み合わせがあるか否か（互いに重なり合う領域があるか否か）を調べる。
　そして領域形成部２４は、重なり合う領域の有無を表す情報を分離部２５に出力する。処理Ｓ４以下の処理を行う分離部２５は、重なり合う領域がない旨の情報が入力されているときには、ここまでに説明したのと同様に、形成した領域の情報を前景の初期領域として、セグメンテーション処理を実行し、画像情報を、前景と背景とに分離する。
　一方、分離部２５は、重なり合う領域がある旨の情報が入力されているときには、個々の座標情報Ｐi（ｉ＝１，２，…，ｎ）に係る領域の各々を、前景の初期領域として、個別にセグメンテーション処理を実行する。そして個別のセグメンテーション処理の結果、個別に得られる前景部分の論理和を、画像情報の前景部分とし、また、この前景部分以外の部分を背景とする。
　この例のように、分離部２５は、少なくとも互いに重なり合わない領域については一括して、また重なり合う領域については個別にセグメンテーションの処理を実行して、前景と背景とを分離する。
［画像内容に応じて初期設定の前景の大きさを変更する例］
　さらに領域形成部２４は、領域の拡大や縮小の調整を行う際には、調整後の大きさをタップの回数やピンチアウト操作等において指定された二点間の距離の変化に応じて、調整後の領域の大きさを定めるのではなく、予め定めた規則に従って、調整後の領域の大きさを定めてもよい。
　一例として、領域形成部２４が重み値Ｗiを用いる場合、座標情報Ｐiに対応する領域について拡大の操作が行われたときには、Ｗiを「１」だけインクリメントし、
ｒ′i＝ｒdefault＋Δｒ×（Ｗi－Ｘ）
として仮の大きさを定め、この処理対象の画像情報のうち、この仮の大きさの領域が囲む部分の画素値の統計量と、領域外の部分の画素値の統計量とを比較して、この比較結果が、予め定めた条件に合致するまで、Ｗiを「１」ずつインクリメントしつつ、仮の大きさを調整してもよい。そして条件に合致したときにＷiのインクリメントを停止し、そのときの仮の大きさｒ′iを、座標情報Ｐiに対応する領域の新たな大きさとして設定する。つまり、
ｒi＝ｒ′i
とする。なお、タップ回数Ｔiを用いる場合も、ここでのＷiの代わりにＴiとして同様の処理を行えばよい。この場合、タップ回数Ｔiは実際のタップ回数ではなく、重み値と同様の意味を持つこととなる。
　また同様に、座標情報Ｐiに対応する領域について縮小の操作が行われたときには、Ｗiを「１」だけデクリメントし、
ｒ′i＝ｒdefault＋Δｒ×（Ｗi－Ｘ）
として仮の大きさを定め、この処理対象の画像情報のうち、この仮の大きさの領域が囲む部分の画素値の統計量と、領域外の部分の画素値の統計量とを比較して、この比較結果が、予め定めた条件に合致するまで、Ｗiを「１」ずつデクリメントしつつ、仮の大きさを調整してもよい。そして条件に合致したときにＷiのデクリメントを停止し、そのときの仮の大きさｒ′iを、座標情報Ｐiに対応する領域の新たな大きさとして設定する。つまり、
ｒi＝ｒ′i
とする。
　これらの場合において、画素値の統計量は、例えば画素値の平均、あるいは、ヒストグラムにおける最頻値などとしてもよい。そして、比較結果に係る条件とは、例えば領域内外における画素値の各平均の差の絶対値が予め定めたしきい値を超える、あるいは領域内外における各最頻値の差の絶対値が予め定めたしきい値を超える、などの条件としておけばよい。
　また重み値Ｗiをインクリメント、またはデクリメントする場合において、仮の大きさｒ′iが予め定めた下限値を下回る場合はその時点でデクリメントを停止し、そのときの仮の大きさｒ′iを、座標情報Ｐiに対応する領域の新たな大きさとして設定してもよく、また、座標情報Ｐiに対応する仮の大きさｒ′iの領域が画像情報の辺に接したところでインクリメントを停止し、そのときの仮の大きさｒ′iを、座標情報Ｐiに対応する領域の新たな大きさとして設定してもよい。
　本実施の形態によると、簡便な操作で、例えば飲食物の画像情報から、各飲食物の画像部分を特定できる。
　１　画像処理装置、１１　制御部、１２　記憶部、１３　操作部、１４　表示部、１５　画像取得部、２１　画像情報取得部、２２　画像表示制御部、２３　指定点受入部、２４　領域形成部、２５　分離部、２６　出力部、２７　情報処理部。

Claims (4)

  1. 　処理対象となる画像情報を表示する手段と、
    　前記表示した画像情報内の点の指定を少なくとも一つ受け入れる手段と、
    　前記受け入れた点ごとに、当該点を含む所定形状の領域を前記画像情報内に形成する領域形成手段と、
    　前記形成した領域の情報を前景の初期領域として、セグメンテーション処理を実行し、前記画像情報を、前景と背景とに分離する分離手段と、
    　前記分離して得た前景の画像部分を出力する出力手段と、
    　とを含む画像処理装置。
  2. 　請求項１記載の画像処理装置であって、
    　前記領域形成手段は、所定形状の領域の大きさを、
    　隣接する所定形状の領域に接する大きさとするか、または画像情報を取り囲む形状に接する大きさとする
    　画像処理装置。
  3. 　請求項１または２記載の画像処理装置であって、
    　前記領域形成手段は、前記形成した所定形状の領域内の小領域であって、当該領域に含まれる前記指定された点を含む小領域をさらに形成し、
    　前記分離手段は、当該小領域内のすべての画素が前景に含まれるものとして分離処理を行う
    　画像処理装置。
  4. 　請求項１から３のいずれか一項に記載の画像処理装置であって、
    　前記分離手段は、前記領域形成手段が形成した所定形状の領域外の部分を、背景の初期領域として、セグメンテーション処理を実行する
    　画像処理装置。
PCT/JP2012/069027 2011-07-27 2012-07-26 画像処理装置 WO2013015381A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-164465 2011-07-27
JP2011164465A JP2013029930A (ja) 2011-07-27 2011-07-27 画像処理装置

Publications (1)

Publication Number Publication Date
WO2013015381A1 true WO2013015381A1 (ja) 2013-01-31

Family

ID=47601218

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/069027 WO2013015381A1 (ja) 2011-07-27 2012-07-26 画像処理装置

Country Status (2)

Country Link
JP (1) JP2013029930A (ja)
WO (1) WO2013015381A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010037A (zh) * 2017-11-29 2018-05-08 腾讯科技（深圳）有限公司 图像处理方法、装置及存储介质
WO2022185643A1 (ja) * 2021-03-03 2022-09-09 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489107B (zh) * 2013-08-16 2015-11-25 北京京东尚科信息技术有限公司 一种制作虚拟试衣模特图像的方法和装置
JP5741660B2 (ja) 2013-09-18 2015-07-01 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP5811416B2 (ja) 2013-10-09 2015-11-11 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6269323B2 (ja) 2014-05-30 2018-01-31 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP6480676B2 (ja) * 2014-06-27 2019-03-13 国立大学法人電気通信大学 摂取量推定装置、摂取量推定方法およびプログラム
JP2016122367A (ja) * 2014-12-25 2016-07-07 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216936A (ja) * 2002-01-28 2003-07-31 Canon Inc 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
JP2010027025A (ja) * 2008-06-20 2010-02-04 Sony Corp 物体認識装置、物体認識方法及び物体認識方法のプログラム
JP2010097355A (ja) * 2008-10-15 2010-04-30 Nippon Telegr & Teleph Corp <Ntt> 画像分離装置、画像分離方法および画像分離プログラム
JP2011050038A (ja) * 2009-07-27 2011-03-10 Sanyo Electric Co Ltd 画像再生装置及び撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216936A (ja) * 2002-01-28 2003-07-31 Canon Inc 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
JP2010027025A (ja) * 2008-06-20 2010-02-04 Sony Corp 物体認識装置、物体認識方法及び物体認識方法のプログラム
JP2010097355A (ja) * 2008-10-15 2010-04-30 Nippon Telegr & Teleph Corp <Ntt> 画像分離装置、画像分離方法および画像分離プログラム
JP2011050038A (ja) * 2009-07-27 2011-03-10 Sanyo Electric Co Ltd 画像再生装置及び撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010037A (zh) * 2017-11-29 2018-05-08 腾讯科技（深圳）有限公司 图像处理方法、装置及存储介质
WO2022185643A1 (ja) * 2021-03-03 2022-09-09 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム

Also Published As

Publication number Publication date
JP2013029930A (ja) 2013-02-07

Similar Documents

Publication Publication Date Title
WO2013015381A1 (ja) 画像処理装置
US11592923B2 (en) Systems and methods for resizing applications in a multitasking view on an electronic device with a touch-sensitive display
US9747010B2 (en) Electronic content visual comparison apparatus and method
JP5880767B2 (ja) 領域判定装置、領域判定方法およびプログラム
US9792695B2 (en) Image processing apparatus, image processing method, image processing system, and non-transitory computer readable medium
US20230325062A1 (en) Method for adjusting interface display state, and electronic device
JP6287337B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP2017126304A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP5907196B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
CN109324736A (zh) 局部放大图片的交互方法及装置
JP6269323B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
EP2911115B1 (en) Electronic device and method for color extraction
JP6241320B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP2016177501A (ja) 画像処理装置、画像処理システムおよびプログラム
US20180173411A1 (en) Display device, display method, and non-transitory computer readable recording medium
CN111831123A (zh) 一种适用于桌面混合现实环境的手势交互方法及系统
US20170205967A1 (en) Display and interaction method in a user interface
JP5408097B2 (ja) 画像表示装置、画像表示方法
JP7363235B2 (ja) 情報処理装置及び情報処理プログラム
KR20130136939A (ko) 디스플레이 방법 및 장치
US20180173362A1 (en) Display device, display method used in the same, and non-transitory computer readable recording medium
JP2013105238A (ja) 情報処理装置及び方法、並びにプログラム
JP2016004309A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
CN104516646A (zh) 图片按钮关联方法及装置
CN107390979A (zh) 一种应用图标的角标的显示方法及终端设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12817446

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12817446

Country of ref document: EP

Kind code of ref document: A1