WO2014156558A1 - Related information providing system and operation control method thereof - Google Patents

Related information providing system and operation control method thereof Download PDF

Info

Publication number
WO2014156558A1
WO2014156558A1 PCT/JP2014/055960 JP2014055960W WO2014156558A1 WO 2014156558 A1 WO2014156558 A1 WO 2014156558A1 JP 2014055960 W JP2014055960 W JP 2014055960W WO 2014156558 A1 WO2014156558 A1 WO 2014156558A1
Authority
WO
WIPO (PCT)
Prior art keywords
related information
object image
color
image
smax
Prior art date
Application number
PCT/JP2014/055960
Other languages
French (fr)
Japanese (ja)
Inventor
荒木　康
克郎 長岡
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2014156558A1 publication Critical patent/WO2014156558A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/23—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on positionally close patterns or neighbourhood relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Abstract

Links to object images that include pixels having a large distance from the reference line that has a slope of 1 and passes through the origin of M color space are imparted with higher priority than to those to other object images. As a special case, if the M colors are R, G, B, then object images with high color saturation are prioritized. A target image (62) of a web page (60) contains object images. The distance from the reference line that has a slope of 1 and passes through the origin in the M-color space of these object images is calculated. In descending order of the detected distances, link information of the object images is detected. The detected link information is attached to the corresponding object images. An image recognition server sends a smart phone web page data that represents a web page that includes the object images to which a link has been attached.

Description

関連情報提供システムおよびその動作制御方法Related information providing system and operation control method thereof
　この発明は，関連情報提供システムおよびその動作制御方法に関する。 This invention relates to a related information providing system and its operation control method.
　画像情報の認識を行うシステムは、デジタルカメラの顔認識機能、監視カメラの顔認識機能等を中心に幅広く活躍している。 The image information recognition system is widely used mainly for digital camera face recognition functions and surveillance camera face recognition functions.
　画像内の物体を認識するアルゴリズムは、基本的に計算負荷が非常に大きく、従来の技術では十分な検出速度で検知しサービスを提供することが困難であった。さまざまな物体を認識するためには、多くのデータベースとのマッチングや計算が必要となるが、例えば、スマートフォンのような端末では軽短薄小が望まれ、処理能力の高いプロセッサーや非常に大きな容量を有するメモリーを搭載することが難しく、そのようなマッチングや計算を端末内で行うことが困難である。 The algorithm for recognizing an object in an image basically has a very heavy calculation load, and it has been difficult to detect and provide a service with a sufficient detection speed with the conventional technology. In order to recognize various objects, matching with many databases and calculations are required, but for example, devices such as smartphones are required to be light, short and thin, with high processing capacity and extremely large capacity. It is difficult to mount a memory having the above, and it is difficult to perform such matching and calculation in the terminal.
　一方で、インターネットは普及を続けており、その通信システムは進化し続けてきている。近年では、WiFiが広がりIP接続される電子機器が増加している。そのような電子機器はサーバーとのやりとりが容易となるため、比較的付加の高いアルゴリズムでも処理が可能となり、グレー画像に変換することなく色情報から物体を認識することも試みられている。 On the other hand, the Internet continues to spread and its communication system continues to evolve. In recent years, WiFi has spread and the number of electronic devices connected via IP is increasing. Since such an electronic device can easily communicate with the server, it can be processed even with a relatively high algorithm, and attempts have been made to recognize an object from color information without converting it into a gray image.
　カラー画像から色変換を用いて物体を認識する技術として知られているものは、特許文献１がありここでは入力したカラー画像データの色を表す３次元色空間を、前記３次元色空間と異なる他の３次元色空間に変換、よく知られたLabやLuvに変換して認識装置へ入力することが開示されている。LabやLuv空間は人間の目に合わせたRGB撮像による色情報を得るには好ましい手段の一つではあるが、物体を認識する上で最も好ましい変換であるかは不明である。 Known as a technique for recognizing an object from a color image using color conversion is Patent Document 1, in which a three-dimensional color space representing the color of input color image data is different from the three-dimensional color space. It is disclosed that it is converted into another three-dimensional color space, converted into a well-known Lab or Luv, and input to a recognition device. Lab or Luv space is one of the preferred means for obtaining color information by RGB imaging suitable for human eyes, but it is unclear whether it is the most preferable conversion for recognizing an object.
　また、特許文献２では、入力されたカラー画像に統計的手法を施して色モデル空間を生成し、このモデル空間上のモデル画像にカラー画像を色変換する手法が開示されている。ここでの色モデルは、複数のカラー画像データに関して、3×画素数のデータに関して、主成分分析を行い、分散共分散行列を対角化して固有値、固有ベクトルを求める。これは入力されたカラー画像に対して、どのような色変換を行うかの手法であり、画像内の3×画素数のデータに関する固有値、固有ベクトルの計算は、時に非効率な計算となり、上記のような非常に高速な処理を有する用途に関して必ずしも適切な方法とは言えない。 Further, Patent Document 2 discloses a method of generating a color model space by applying a statistical method to an input color image and color-converting the color image into a model image on the model space. In this color model, principal component analysis is performed on data of 3 × pixels for a plurality of color image data, and a variance-covariance matrix is diagonalized to obtain eigenvalues and eigenvectors. This is a method for performing color conversion on the input color image, and the calculation of eigenvalues and eigenvectors related to the data of 3 × pixel number in the image is sometimes inefficient, and the above-mentioned Such a method is not necessarily an appropriate method for an application having a very high-speed processing.
また、特許文献３では、あらかじめ学習機能を用いて色データ付きの対象物体画像データを作成しておき、共通色を認識してその色から相対色を規定して物体を認識する方法が開示されているが、あらかじめ認識する物体種が特定できていないと、任意の物体の持つ色は無限に近いほどあり、その物体それぞれでマッチングすることは非常に非効率である。 Patent Document 3 discloses a method for recognizing an object by creating target object image data with color data in advance using a learning function, recognizing a common color and defining a relative color from the color. However, if the object type to be recognized in advance is not specified, the color of an arbitrary object is nearly infinite, and matching with each object is very inefficient.
　以上のような従来技術では加えて、情報取得者が欲する物体認識を想定して優先的に画像認識を行い、そのような物体画像について，他の物体画像よりも先にリンクを付加して表示する等についても触れられていない。 In addition to the above-described conventional techniques, image recognition is performed preferentially assuming object recognition desired by the information acquirer, and such object images are displayed with links added before other object images. There is no mention of doing things.
特開2003-337946号公報Japanese Patent Laid-Open No. 2003-337946 特開2001-338290号公報JP 2001-338290 A 特開2009-25867号公報JP2009-25867
　本発明は、このような状況に鑑みてなされたものであり、リアルタイムの画像やネット上で膨大にアクセスされる数多くの画像ファイル、テレビで表示される画像等の物体認識を情報取得者の興味の高いものをできるだけ速く行うことを可能とし、情報取得者に画像情報内にない情報または画像情報内にない情報にアクセスするための手段を効率よく、かつ、快適に提供可能とするものである。 The present invention has been made in view of such a situation, and the object of the information acquirer is to recognize objects such as real-time images, a large number of image files accessed on the Internet, and images displayed on a television. It is possible to perform a high-quality item as quickly as possible, and to provide an information acquirer with efficient and comfortable means for accessing information that is not in image information or information that is not in image information. .
　特に、関連情報が早く欲しいと思われる物体画像について，他の物体画像よりも先に関連情報を付加することを目的とする。その理由は、画像内に含まれている複数の物体画像のそれぞれの物体画像にリンクなどが張られている場合，ユーザはすべての物体画像についてリンク先の情報が欲しいわけではなく，興味のある物体画像についてのリンク先の情報が欲しいことが一般的である。リンク先の情報が欲しいような物体画像については，他の物体画像よりも先にリンクを付加して表示することが好ましい。しかしながら，引用文献１から３のいずれにおいてもリンク先の情報が欲しいと思われる物体画像について，他の物体画像よりも先にリンクを付加して表示することは考えられていない。 In particular, it is intended to add related information earlier than other object images for object images for which related information is desired early. The reason is that when links are set to each of the object images included in the image, the user does not want the link destination information for all the object images, but is interested. It is common to want link destination information about an object image. An object image for which link destination information is desired is preferably displayed with a link added before other object images. However, in any of the cited documents 1 to 3, it is not considered that an object image for which link destination information is desired is displayed with a link added before other object images.
　この発明による関連情報提供装置は，関連情報が付加されるカラー対象画像であって，Ｎ（Ｎは２以上の整数，好ましくは３以上の整数）色の色データによって表わされるカラー対象画像に含まれる少なくとも一つ（二つ以上）の物体画像を検出する物体画像検出手段，物体画像検出手段によって検出された少なくとも一つの物体画像について，クライアント端末から特定の物体認識要求が無い場合には，Ｎ色の数以下のＭ色（２色以上）の空間座標において原点を通り，かつ傾きが１の基準直線からの距離ｄ１の大きな画素を含む物体画像についての関連情報を見つける関連情報検索手段，関連情報検出手段により見つけられた関連情報を，対応する物体画像に付加する関連情報付加手段，関連情報付加手段によって関連情報が付加された物体画像を含む上記カラー対象画像を表わすカラー対象画像データを，クライアント端末装置に送信するカラー対象画像データ送信手段，ならびに関連情報検索手段，関連情報付加手段およびカラー対象画像データ送信手段によるそれぞれの処理を繰り返すように，関連情報検索手段，関連情報付加手段およびカラー対象画像データ送信手段を制御する第１の制御手段を備えていることを特徴とする。 The related information providing apparatus according to the present invention is a color target image to which related information is added, and is included in a color target image represented by color data of N (N is an integer of 2 or more, preferably an integer of 3 or more). If there is no specific object recognition request from the client terminal for at least one (two or more) object image detection means for detecting at least one object image detected by the object image detection means, N Related information search means for finding related information about an object image including a pixel having a large distance d1 from a reference line having an inclination of 1 in the spatial coordinates of M colors (two or more colors) less than the number of colors The related information is added by the related information adding means for adding the related information found by the information detecting means to the corresponding object image, and the related information adding means. Color target image data transmission means for transmitting the color target image data representing the color target image including the object image to the client terminal device, and the respective processes by the related information search means, the related information addition means and the color target image data transmission means The first control means for controlling the related information searching means, the related information adding means, and the color target image data transmitting means is provided.
　この発明は，物体画像の関連情報提供システムに適した動作制御方法も提供している。すなわち，この方法は，物体画像検出手段が，関連情報が付加されるカラー対象画像であって，Ｎ（Ｎは２以上の整数）色の色データによって表わされるカラー対象画像に含まれる少なくとも一つの物体画像を検出し，関連情報検索手段が，クライアント端末から特定の物体認識要求が無い場合には，物体画像検出手段によって検出された少なくとも一つの物体画像について，Ｎ色の数以下のＭ色の空間座標において原点を通り，かつ傾きが１の基準直線からの距離ｄ１の大きな画素を含む物体画像についての関連情報を見つけ，関連情報付加手段が，関連情報検出手段により見つけられた関連情報を，対応する物体画像に付加し，カラー対象画像データ送信手段が，関連情報付加手段によって関連情報が付加された物体画像を含むカラー対象画像を表わすカラー対象画像データを，クライアント端末装置に送信し，第１の制御手段が，関連情報検索手段，関連情報付加手段およびカラー対象画像データ送信手段によるそれぞれの処理を繰り返すように，関連情報検索手段，関連情報付加手段およびカラー対象画像データ送信手段を制御することを特徴とする。 The present invention also provides an operation control method suitable for an object image related information providing system. That is, in this method, the object image detecting means is a color target image to which related information is added, and is included in at least one color target image represented by color data of N (N is an integer of 2 or more) colors. When the object information is detected and the related information retrieval means does not receive a specific object recognition request from the client terminal, the number of M colors equal to or less than the number of N colors is determined for at least one object image detected by the object image detection means. The related information about the object image including a pixel having a large distance d1 from the reference straight line having an inclination of 1 in spatial coordinates is found, and the related information adding means finds the related information found by the related information detecting means, The color object image data transmission means is added to the corresponding object image, and the color pair including the object image to which the related information is added by the related information adding means. The color target image data representing the image is transmitted to the client terminal device, and the first control means repeats the respective processes by the related information search means, the related information addition means, and the color target image data transmission means. The search means, the related information adding means, and the color target image data transmitting means are controlled.
　この発明によると，カラー対象画像に含まれる少なくとも一つの物体画像が検出される。二つ以上物体画像がある場合は、結果的にｄ１の大きな物体画像についての関連情報が最初に見つけられる。距離ｄ１は、以下のような非常に重要な意味を持っている。物体の光学特性は、自発光型の物質で構成されていない限り、ある照明光の下で反射してきた光が、撮像素子内に信号として入る。この照明の加減により、同じ物体でできていても変化する。世の中で既によく知られた例であれば、RGB撮像時の輝度であり、照明が明るく照らされた部分では輝度が強くなる。すなわち、同じ光学特性を持っている物体部分であっても、物体の形や照明の照らされ方により変化する。この補正は１軸方向、多くても２軸方向で行えることが多い。 According to the present invention, at least one object image included in the color target image is detected. When there are two or more object images, as a result, relevant information about the object image having a large d1 is found first. The distance d1 has a very important meaning as follows. As long as the optical characteristics of the object are not composed of a self-luminous material, light reflected under a certain illumination light enters the image sensor as a signal. Even if it is made of the same object, it changes by adjusting the lighting. An example that is already well-known in the world is the luminance at the time of RGB imaging, and the luminance is increased in the brightly illuminated part. That is, even an object portion having the same optical characteristics changes depending on the shape of the object and how the illumination is illuminated. This correction is often performed in one axial direction, at most two axial directions.
なお、上記d1に関して偽色に注意する必要がある。通常の撮像素子は、ベイヤー配列でカラー撮像が取得されることが多い。この場合、デモザイク処理により画素データが補間されるが、この処理が未熟だと本来の色ではない偽色が発生してしまうことがある。このような偽色は、特にエッジ部などについて適切な処理を行えば発生抑制可能であり、かつ、画素データを解析すれば偽色と本来の色と違うことが、ほとんどの場合検知可能である。そのため、本発明における、上記距離ｄ1の値が最も大きな画素を持つ物体画像の判定を行う際は、このような偽色を含まず考える。 In addition, it is necessary to pay attention to the false color regarding the above d1. A normal imaging device often obtains color imaging in a Bayer array. In this case, pixel data is interpolated by demosaic processing, but if this processing is immature, a false color that is not the original color may occur. Such false colors can be suppressed by performing appropriate processing especially on edge portions, etc., and by analyzing pixel data, it is possible to detect in most cases that the false color is different from the original color. . Therefore, when determining an object image having a pixel with the largest value of the distance d 1 in the present invention, such a false color is not considered.
　照明の効果と照明光の推定技術は、特許文献３の表現を用いると下記のように説明される。すなわち、物体表面から我々の眼に入る色Ｌ（λ）は、以下の式に示すように、物体の色ρ（λ）と照明光の色Ｅ（λ）の積で表される。
Ｌ（λ）＝Ｅ（λ）×ρ（λ）
上記の式をＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）信号に分けて書くと，ＬＲ＝ＥＲ×ρＲ，ＬＧ＝ＥＧ×ρＧ，ＬＢ＝ＥＢ×ρＢであり、我々は、反射光（即ち、ＬR，ＬG，ＬB）を検知している。ここから、照明光の色ＥR，ＥG，ＥBを推定する（照明光推定技術）。 The illumination effect and the illumination light estimation technique are explained as follows using the expression of Patent Document 3. That is, the color L (λ) that enters our eyes from the object surface is represented by the product of the object color ρ (λ) and the illumination light color E (λ), as shown in the following equation.
L (λ) = E (λ) × ρ (λ)
When the above equation is written separately for RGB (Red Green Blue) signals, LR = ER × ρR, LG = EG × ρG, LB = EB × ρB, and we have reflected light (ie, L R , L G , L B ). From this, the colors E R , E G , and E B of the illumination light are estimated (illumination light estimation technique).
　照明光推定技術として、従来の手法としては、例えば、物体の鏡面反射（ハイライト）を用いる方法、白色仮説や灰色仮説を用いる方法等が知られている。 As a conventional technique for estimating illumination light, for example, a method using specular reflection (highlight) of an object, a method using a white hypothesis, a gray hypothesis, and the like are known.
鏡面反射を用いる方法は、照明が鏡面で反射することから、鏡面反射領域の色を照明光の色として推定する。また、白色仮説は、画像中で最も明るい色を白色であると仮定し、明るい領域の色を照明光の色として推定する。また、灰色仮説は、画像中にある複数の物体の色を平均すると灰色になると仮定し、画像全体の色を照明光の色として推定する。 In the method using specular reflection, since the illumination is reflected by the mirror surface, the color of the specular reflection region is estimated as the color of the illumination light. In the white hypothesis, the brightest color in the image is assumed to be white, and the color of the bright region is estimated as the color of the illumination light. The gray hypothesis assumes that the average color of a plurality of objects in an image is gray, and estimates the color of the entire image as the color of illumination light.
基底関数を用いる方法は、様々な照明光の分光特性および様々な物体の表面反射率を調査し、主成分分析を行うことにより、照明光の分光特性を近似するための基底関数、物体の表面反射率を近似するための基底関数を求め、これら基底関数の係数を照明光として推定する。 The method using the basis function is to investigate the spectral characteristics of various illumination light and the surface reflectance of various objects, and to perform the principal component analysis to approximate the spectral function of the illumination light, the surface of the object. Basis functions for approximating the reflectance are obtained, and coefficients of these basis functions are estimated as illumination light.
　本発明においては、Ｎ（Ｎは３以上の整数）色の色データによって表わされるカラー対象画像に含まれる照明の効果が、特に計算される傾きが１の基準直線を含む平面状に分布する。そのため、照明の効果を取り除く計算が後述するように簡易化される。そのため本発明においては、直線が画像における照明の効果を変化させる軸であることは非常に好ましい。照明の分光スペクトルが白色に近ければ近いほど、N=３でRGB信号である場合の輝度に相当した効果と同等である。本発明では、照明の分光スペクトルの強度の変化を軸にとれることがより好ましく、さらには照明の強度による分光スペクトルの違いもNを３以上に設定することにより簡易に取り除くことが最も好ましい。 In the present invention, the illumination effect included in the color target image represented by the color data of N (N is an integer of 3 or more) is distributed in a plane including a reference straight line with a calculated slope of 1. Therefore, the calculation for removing the illumination effect is simplified as will be described later. Therefore, in the present invention, it is very preferable that the straight line is an axis that changes the effect of illumination on the image. The closer the spectral spectrum of illumination is to white, the more equivalent to the effect corresponding to the brightness in the case of RGB signals with N = 3. In the present invention, it is more preferable to take the change in intensity of the spectral spectrum of illumination as an axis, and it is most preferable to easily remove the difference in spectral spectrum due to the intensity of illumination by setting N to 3 or more.
　本発明においては、N=3でRGB撮像の例が典型例であるため、上記Mが３であり、直線が輝度を変化させる軸であることは非常に好ましい。 In the present invention, since an example of RGB imaging with N = 3 is a typical example, it is very preferable that M is 3 and a straight line is an axis for changing luminance.
　本発明における距離ｄ１は、物体の光学特性を特異的に取り出すという特徴を持つと同時に、この輝度等の効果を非常に効率的に取り除くためのパラメーターとしても用いることができる。基準直線を含み、かつ、ある物体１点の信号値を含む平面の係数は、M-1個の差分の積で計算できてしまうため、アルゴリズム計算としても非常に効率的な計算が可能となる。 The distance d1 in the present invention has the characteristic of specifically extracting the optical characteristics of the object, and at the same time can be used as a parameter for removing the effect such as luminance very efficiently. Since the coefficient of the plane including the reference straight line and including the signal value of one point of an object can be calculated by the product of M−1 differences, it can be calculated very efficiently as an algorithm calculation. .
なお、Ｎ（Ｎは３以上の整数）色の色データによって表わされるカラー対象画像から、Ｎ色の数以下のＭ色を得る場合に、数値変換を行うときは線形変換で得るのが、簡便で非常に好ましい。 It should be noted that when obtaining M colors equal to or less than the number of N colors from a color target image represented by N (N is an integer of 3 or more) color data, it is convenient to obtain linear conversion when performing numerical conversion. It is very preferable.
　本発明の効果は、本発明における一つの例であるN種の信号を変換して３種の信号を得て、この３種の信号が（R,G,B）に相当する場合が最もわかりやすい。この場合前記ｄ１は彩度に相当するものであり、彩度の大きな物体を最初に抽出し、効率的に輝度の効果等を取り除くことができる。なお、本発明の下記及び実施例には、M=３でRGB信号の場合をメインに記載されるが、それが理解するのに分かりやすいため、かつ、好ましい例の一つであり、本発明はそれに限定されるものではない。 The effect of the present invention is most easily understood when three types of signals are obtained by converting N types of signals, which is an example of the present invention, and these three types of signals correspond to (R, G, B). . In this case, d1 corresponds to saturation, and an object with high saturation can be extracted first, and the luminance effect and the like can be efficiently removed. In the following and embodiments of the present invention, the case of RGB signals with M = 3 is mainly described, but this is easy to understand and is one of the preferred examples. Is not limited thereto.
本発明は、上記Ｎ色の色データによって表わされるカラー対象画像について，Ｎ色以下のＭ色を利用して関連情報を付加する物体画像を検出しているが，たとえば，Ｍ色は，ＲＧＢの三色である。そのようなより好ましい例の場合クライアント端末装置の表示画面には，彩度の高い物体画像について関連情報が付加されていることとなる。彩度の高い物体画像は，ユーザの目を引きやすいので，ユーザはそのような物体画像についての関連情報が欲しいと思うことが多い。そのような彩度の高い物体情報に最初に関連情報が付加されるので，ユーザの意思に沿って関連情報を物体情報に付加できる。 The present invention detects an object image to which related information is added using M colors equal to or less than N for the color target image represented by the N color data. Three colors. In the case of such a more preferable example, the display information of the client terminal device is associated with related information regarding a highly saturated object image. A highly saturated object image is easy to catch the eye of the user, so the user often wants relevant information about such an object image. Since related information is first added to such highly saturated object information, the related information can be added to the object information according to the user's intention.
　関連情報検索手段は，たとえば，M色の空間座標において原点を通り，かつ傾きが１の基準直線からの距離ｄ１が大きい画素をもつ順に物体画像についての関連情報を見つけるものである。また，カラー対象画増データ送信手段は，たとえば，あらかじめ設定された時間が経過したことにより，関連情報付加手段によって関連情報が付加された物体画像を含むカラー対象画像を表わすカラー対象画像データを，クライアント端末装置に送信するものである。 The related information search means finds related information about the object image in order of pixels having a distance d1 from the reference line having a slope of 1 and passing through the origin in the M color space coordinates. Further, the color target image increase data transmission means, for example, outputs color target image data representing a color target image including the object image to which the related information is added by the related information adding means when a preset time has elapsed. It is transmitted to the client terminal device.
　第一の制御手段に従い、カラー対象画像データを送信するごとに、それまでに関連情報が付加されていなかった物体画像の中で，上記距離ｄ1の値が最も大きな画素を持つ物体画像が，新たに関連情報が付加されるものもよい。 Every time color target image data is transmitted according to the first control means, an object image having a pixel with the largest value of the distance d 1 among the object images to which related information has not been added so far, There may be newly added related information.
　加えて、本発明においては、M色が少なくともＲ色，Ｇ色およびＢ色を含む場合には，そのRGB色に関しては混色を抑えたほうが好ましいことが多く、カラー対象画像に含まれる色成分の割合が，Ｒ成分が80％以上，Ｇ成分が80%以上，かつＢ成分が80%以上であることが好ましい。 In addition, in the present invention, when the M color includes at least the R color, the G color, and the B color, it is often preferable to suppress the color mixture for the RGB color, and the color components included in the color target image The ratio is preferably 80% or more for the R component, 80% or more for the G component, and 80% or more for the B component.
　物体画像検出手段によって検出された複数の物体画像のうち，M色がＲ色，Ｇ色およびＢ色を含む３色の場合には，関連情報検出手段は，彩度の大きい物体画像の順に関連情報を検出するものとなろう。 Among the plurality of object images detected by the object image detecting means, when the M color is three colors including the R color, the G color, and the B color, the related information detecting means Information will be detected.
　関連情報付加手段は，たとえば，カラー対象画像データ送信手段によってカラー対象画像データがクライアント端末装置に送信されたことに応じて，クライアント端末装置に設けられている表示画面に表示されるカラー対象画像に含まれる複数の物体画像のうち所望の物体画像が指定されたことにより，指定された物体画像の関連情報が上記表示画面に表示されるように物体画像に関連情報を付加するものであり，かつ一の物体画像が他の物体画像と重なっている部分が指定されることに応じて一つの物体画像と他の物体画像とのうち距離ｄ1の大きな物体画像の関連情報が表示画面に表示されるように物体画像の関連情報を付加するものである。 The related information adding means, for example, adds a color target image displayed on a display screen provided in the client terminal device in response to the color target image data transmitting means transmitting the color target image data to the client terminal device. Adding the relevant information to the object image so that the relevant information of the designated object image is displayed on the display screen when the desired object image is designated from among the plurality of contained object images; and In response to designation of a portion where one object image overlaps with another object image, related information of an object image having a large distance d 1 between one object image and another object image is displayed on the display screen. In this way, related information of the object image is added.
　関連情報付加手段は，たとえば，カラー対象画像データ送信手段によってカラー対象画像データがクライアント端末装置に送信されたことに応じて，クライアント端末装置に設けられている表示画面に表示されるカラー対象画像に含まれる複数の物体画像のうち所望の物体画像が指定されたことにより，指定された物体画像の関連情報が表示画面に表示されるように物体画像に関連情報を付加するものであり，かつ一つの物体画像が他の物体画像と重なっている部分が指定されることに応じて一つの物体画像と他の物体画像とのうち彩度の大きな物体画像の関連情報が表示画面に表示されるように物体画像の関連情報を付加するものである。 The related information adding means, for example, adds a color target image displayed on a display screen provided in the client terminal device in response to the color target image data transmitting means transmitting the color target image data to the client terminal device. The related information is added to the object image so that the related information of the specified object image is displayed on the display screen when the desired object image is specified among the plurality of included object images. Relevant information of one of the object images and the other object image with high saturation is displayed on the display screen when a part where one object image overlaps another object image is specified Is associated with object image related information.
　カラー対象画像を構成する画素のすべてについて，上記Ｍ色のM種信号レベルをS1,S2,…SMとし，ｔ１を，ｔ１＝ΣSi／Mとしたときに，α1=Σ[(t1-Si)・(t1-Si)]を算出するM種レベル算出手段をさらに備えてもよい。この場合，関連情報検出手段は，α1が最大である画素を含んでいる物体画像についての関連情報を見つけるものとなろう。 For all of the pixels constituting the color target image, when the M type signal level of the M color is S 1 , S 2 ,... S M and t1 is t1 = ΣSi / M, α1 = Σ [(t1 M-type level calculating means for calculating -Si). (T1-Si)] may be further provided. In this case, the related information detecting means will find related information about the object image including the pixel having the maximum α1.
　カラー対象画像を構成する画素のすべてについて，Ｒを赤色信号のレベル，Ｇを緑色信号のレベル，Ｂを青色信号のレベル，ｔ２をｔ2＝（Ｒ＋Ｇ＋Ｂ）／３としたときに，
α２＝Σ[(t2-R)・(t2-R)]＋Σ[(t2-G)・(t2-G)]＋Σ[(t2-B)・(t2-B)]を算出するＲＧＢレベル算出手段をさらに備えてもよい。この場合，関連情報検出手段は，α２が最大である画素が含んでいる物体画像を見つける。 For all the pixels constituting the color target image, when R is the level of the red signal, G is the level of the green signal, B is the level of the blue signal, and t2 is t2 = (R + G + B) / 3,
RGB level calculation to calculate α2 = Σ [(t2-R) · (t2-R)] + Σ [(t2-G) · (t2-G)] + Σ [(t2-B) · (t2-B)] Means may further be provided. In this case, the related information detecting means finds an object image included in the pixel having the maximum α2.
　関連情報検索手段は，たとえば，M種レベル算出手段またはＲＧＢレベル算出手段によって算出された値が所定範囲内にある物体画像についての関連情報を最初に見つけるものである。 The related information search means first finds related information on an object image whose value calculated by the M type level calculation means or the RGB level calculation means is within a predetermined range.
　所定範囲は，カラー対象画像の撮影シーンに応じて規定されていることが好ましい。 It is preferable that the predetermined range is defined according to the shooting scene of the color target image.
　カラー対象画像を構成する画像の最大濃度がSMAXとされた場合，撮影シーンが街中である場合には，３×SMAX以上であり10×SMAX以下のＤ１，14×SMAX以上であり43×SMAX以下のＤ２，撮影シーンが海または駅中である場合には，３×SMAX以上であり10×SMAX以下のＤ１，60×SMAX以上であり90×SMAX以下のＤ２，撮影シーンがショッピング・モールである場合には，３×SMAX以上であり10×SMAX以下のＤ１，16×SMAX以上であり47×SMAX以下のＤ２により規定されるＤ１からＤ２までの範囲が所定範囲であるとよい。この規定は、上記α２に対して規定されたもので、α１に対しては、Mで割って３倍した数字を対応させるものとする。 If the maximum density of the image constituting the color target image is SMAX, and the shooting scene is in the city, it is 3 × SMAX or more and 10 × SMAX or less D1, 14 × SMAX or more and 43 × SMAX or less D2, when the scene is in the sea or in the station, D2, which is 3 × SMAX or more and 10 × SMAX or less, D1, 60 × SMAX or more and D2, which is 90 × SMAX or less, is a shopping mall In this case, the range from D1 to D2 defined by D1, which is 3 × SMAX or more and 10 × SMAX or less D1, 16 × SMAX or more and 47 × SMAX or less, may be a predetermined range. This rule is defined for α2, and α1 corresponds to a number divided by M and multiplied by three.
　物体画像の種類に応じて，所定範囲が規定されていてもよい。 The predetermined range may be defined according to the type of object image.
　カラー対象画像を構成する画素の最大濃度がSMAXとされた場合，物体画像が自動車である場合には，SMAX以上であり10×SMAX以下のＤ１，75×SMAX以上であり125×SMAX以下のＤ２，物体画像が美術建築物である場合には，0.5×SMAX以上であり42×SMAX以下のＤ１，0.5×SMAX以上であり42×SMAX以下のＤ２（但し，Ｄ１はＤ２以下），物体画像がショッピング・モールである場合には，0.5×SMAX以上であり５×SMAX以下のＤ１，５×SMAX以上であり47×SMAX以下のＤ２，物体画像が動物である場合には，0.5×SMAX以上であり10×SMAX以下のＤ１，20×SMAX以上であり125×SMAX以下のＤ２により規定されるＤ１からＤ２までの範囲が所定範囲であることが好ましい。これも同様に、上記α２に対して規定されたもので、α１に対しては、Mで割って３倍した数字を対応させるものとする。 When the maximum density of the pixels constituting the color target image is SMAX, and the object image is a car, D1, which is greater than SMAX, 10 × SMAX or less, D1, 75 × SMAX or more, and 125 × SMAX or less, D2 When the object image is an art building, D1 is 0.5 × SMAX or more and 42 × SMAX or less, D1, 0.5 × SMAX or more and 42 × SMAX or less D2 (where D1 is D2 or less), and the object image is If it is a shopping mall, it is 0.5 × SMAX or more, D1, which is 5 × SMAX or less, D1, 5 × SMAX or more, D2, which is 47 × SMAX or less, D2, which is an animal, 0.5 × SMAX or more It is preferable that the range from D1 to D2 defined by D2 of 10 × SMAX or less, D1, 20 × SMAX or more and 125 × SMAX or less is a predetermined range. Similarly, this is defined for α2, and α1 corresponds to a number divided by M and multiplied by three.
　カラー対象画像データ送信手段は，たとえば，M種レベル算出手段またはＲＧＢレベル算出手段によって算出された値が所定範囲内にある物体画像を認識し，かつあらかじめ設定された時間が経過したことにより，最初の関連情報が付加された物体画像を含むカラー対象画像を表わすカラー対象画像データを，クライアント端末装置に送信するものである。 For example, the color target image data transmitting unit recognizes an object image whose value calculated by the M type level calculating unit or the RGB level calculating unit is within a predetermined range, and first, when a preset time has elapsed, The color target image data representing the color target image including the object image to which the related information is added is transmitted to the client terminal device.
　カラー対象画像の色の割合または彩度を変更する変更手段，ならびに変更手段によって彩度が変更させられたカラー対象画像について，物体画像検出手段，関連情報検索手段，関連情報付加手段，カラー対象画像データ送信手段，および第１の制御手段の処理を行わせる第２の制御手段をさらに備えてもよい。 Change means for changing the color ratio or saturation of the color target image, and for the color target image whose saturation is changed by the change means, object image detection means, related information search means, related information addition means, color target image You may further provide the 2nd control means to perform the process of a data transmission means and a 1st control means.
　変更手段は，ｔ3を実数とした場合，(１＋t3)(S1,S2,・・・SM)－t3×ΣSi（1,1,1,・・・１）／Ｍにもとづいて変更するものであることが好ましい。 The changing means is to change based on (1 + t3) (S1, S2,... SM) −t3 × ΣSi (1,1,1,... 1) / M, where t3 is a real number. It is preferable.
　定数ｋを，変更手段によって算出される値または所定範囲の下限の値とし，かつSMAXを，カラー対象画像を構成する画素の最大濃度とした場合，ｔ３は，0.25×SMAX×√(3/k)以上であり，２×SMAX√(3/k)を満たすことが好ましい。 When the constant k is a value calculated by the changing means or the lower limit value of the predetermined range, and SMAX is the maximum density of the pixels constituting the color target image, t3 is 0.25 × SMAX × √ (3 / k It is preferable that 2 × SMAX√ (3 / k) is satisfied.
　物体画像検出手段は，カラー対象画像の輪郭画像を抽出する輪郭画像抽出手段，輪郭画像抽出手段によって抽出された輪郭画像がどのような物体画像を表わすか検出する物体画像検出手段，カラー対象画像の中から所定範囲内の距離d1または彩度または最も高い距離d1または彩度をもつ画素を抽出する画素抽出手段，画素抽出手段によって抽出された画素とS1＝S2＝・・・SMで規定される直線とを含む平面を決定する平面決定手段，輪郭画像抽出手段によって抽出された輪郭画像内に含まれ，かつ隣接する画素ｉ，ｊについて（Si1-Sj1，Si2-Sj2，・・・SiM－SjM）の規格化ベクトルと，上記平面の法線ベクトルまたは(1,1,・・・１)／√Ｍと，の内積の和を算出する内積和算出手段，内積和算出手段によって算出された和を，輪郭画像抽出手段によって抽出された輪郭画像の画素数で除算した値を算出する除算手段，および除算手段により算出された値が小さい輪郭画像について上記物体画像検出手段によって検出された物体画像を確定する確定手段を備えていることが好ましい。 The object image detection means includes a contour image extraction means for extracting a contour image of the color target image, an object image detection means for detecting what kind of object image the contour image extracted by the contour image extraction means represents, A pixel extraction means for extracting a pixel having a distance d1 or saturation within the predetermined range or a pixel having the highest distance d1 or saturation, a pixel extracted by the pixel extraction means, and S1 = S2 =... SM Plane determining means for determining a plane including a straight line, and pixels i and j that are included in the contour image extracted by the contour image extracting means and are adjacent to each other (Si1-Sj1, Si2-Sj2,... SiM-SjM ) And the normal vector of the plane or (1,1,... 1) / √M, the inner product sum calculating means for calculating the sum of the inner products, and the sum calculated by the inner product sum calculating means By the contour image extraction means. Dividing means for calculating a value divided by the number of pixels of the extracted contour image, and a determining means for determining the object image detected by the object image detecting means for the contour image having a small value calculated by the dividing means. Preferably it is.
　関連情報検索手段は，たとえば，物体画像検出手段によって検出された複数の物体画像を，複数のグループに分けるグループ分割手段，グループ分割手段によって分割された複数のグループのそれぞれにおいて代表距離d1または代表彩度を決定する代表距離d1または代表彩度決定手段を備え，代表距離d1または代表彩度決定手段によって決定された代表距離d1または代表彩度の高いグループに含まれる物体画像の順に関連情報を見つけるものである。 The related information search means includes, for example, a representative distance d1 or a representative color in each of the plurality of groups divided by the group dividing means and the group dividing means for dividing the plurality of object images detected by the object image detecting means into a plurality of groups. A representative distance d1 or representative saturation determining means for determining the degree is provided, and related information is found in the order of object images included in the representative distance d1 or the group having the highest representative saturation determined by the representative distance d1 or the representative saturation determining means. Is.
　以下は、カラー対象画像が４色以上（Nが４以上）によって表わされる場合の好ましい記載である。 The following is a preferable description when the color target image is represented by four or more colors (N is four or more).
　４色には，赤，緑および青が含まれていることが好ましい。 The four colors preferably include red, green and blue.
　４色のスペクトルに関して少なくとも二つのスペクトルの重なりが80％以上であるとよい。 The overlap of at least two spectra with respect to the four color spectra should be 80% or more.
　４色のうち少なくとも二つのスペクトルについて，一方のスペクトルが他方のスペクトルに含まれるものでもよい。 For at least two of the four colors, one spectrum may be included in the other spectrum.
　少なくとも二つのスペクトルのうち一つが緑色であることが好ましい。 It is preferable that at least one of the two spectra is green.
　関連情報検索手段は，たとえば，４色の差信号の値にもとづいて決められる関連情報を最初に見つけるものである。 The related information search means first finds related information determined based on, for example, the values of four color difference signals.
　４色の差信号の算出と物体画像検出手段における複数の物体画像の検出とが並行して行われるものでもよい。 The calculation of the four color difference signals and the detection of a plurality of object images by the object image detecting means may be performed in parallel.
　上記カラー対象画像を表わすデータにＩR信号が含まれていてもよい。 The IR signal may be included in the data representing the color target image.
　カラー対象画像を表わすデータに紫外線信号が含まれていてもよい。 The UV signal may be included in the data representing the color target image.
　クライアント端末装置は，表示画面に表示された関連情報のうち，アクセス指示が与えられた関連情報についての詳細情報リクエストを詳細情報サーバに送信するリクエスト送信手段を備えてもよい。 The client terminal device may include request transmission means for transmitting, to the detailed information server, a detailed information request for related information to which an access instruction is given among related information displayed on the display screen.
関連情報提供システムの概要である。It is an outline of a related information providing system. 画像認識サーバの電気的構成を示すブロック図である。It is a block diagram which shows the electric constitution of an image recognition server. スマートフォンの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of a smart phone. ウェブ・サーバの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of a web server. 画像認識サーバの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of an image recognition server. 画像認識サーバの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of an image recognition server. ウェブ・ページの一例である。It is an example of a web page. ウェブ・ページの一例である。It is an example of a web page. ウェブ・ページの一例である。It is an example of a web page. ウェブ・ページの一例である。It is an example of a web page. 物体画像認識処理手順を示すフローチャートである。It is a flowchart which shows an object image recognition process procedure. 輪郭画像の一例である。It is an example of a contour image. 所定の範囲内の彩度をもつ画素を示している。A pixel having a saturation within a predetermined range is shown. ＲＧＢ座標系を示している。An RGB coordinate system is shown. ＲＧＢ座標系を示している。An RGB coordinate system is shown. ＲＧＢ座標系を示している。An RGB coordinate system is shown. 最大彩度の画素を示している。The pixel of maximum saturation is shown. 物体画像認識処理手順を示すフローチャートである。It is a flowchart which shows an object image recognition process procedure. 物体画像認識処理手順を示すフローチャートである。It is a flowchart which shows an object image recognition process procedure. 物体画像認識処理手順を示すフローチャートである。It is a flowchart which shows an object image recognition process procedure. フィルタの特性を示している。The characteristics of the filter are shown. フィルタの特性を示している。The characteristics of the filter are shown.
　図１は，この発明の実施例を示すもので，関連情報提供システムの概要を示している。 FIG. 1 shows an embodiment of the present invention and shows an outline of a related information providing system.
　関連情報提供システムには，スマートフォン（スマートフォンに限らず，携帯電話，パーソナル・コンピュータ，タブレット，テレビジョン装置，カー・ナビゲーション・システム，電子ペーパー装置などでもよい。クライアント端末装置）１，ウェブ・サーバ２および画像認識サーバ３が含まれている。 The related information providing system includes a smartphone (not limited to a smartphone, but may be a mobile phone, a personal computer, a tablet, a television device, a car navigation system, an electronic paper device, etc., a client terminal device) 1, a web server 2 And an image recognition server 3.
　スマートフォン１，ウェブ・サーバ２および画像認識サーバ３は，インターネットなどのようなネットワークを介して互いに通信可能である。 The smartphone 1, the web server 2, and the image recognition server 3 can communicate with each other via a network such as the Internet.
　図２は，画像認識サーバ３の電気的構成を示すブロック図である。 FIG. 2 is a block diagram showing an electrical configuration of the image recognition server 3.
　画像認識サーバ３の全体の動作は，ＣＰＵ５によって統括される。 The overall operation of the image recognition server 3 is controlled by the CPU 5.
　画像認識サーバ３には，上述のようにネットワークを介してスマートフォン１またはウェブ・サーバ２と通信するための通信装置４が含まれている。ＣＰＵ５には，データ等を一時的に記憶するメモリ８が接続されている。また，画像認識サーバ３には，ハードディスク・ドライブ６によってアクセス可能なハードディスク７が含まれている。プログラムは，ネットワークを介して画像認識サーバ３に送信されることが多いが、任意の方法でよい。CD-ROM10のような記録媒体に格納されているプログラムをCD-ROMドライブ９によって読み取り，画像認識サーバ３にインストールされるようにしてもよい。 The image recognition server 3 includes a communication device 4 for communicating with the smartphone 1 or the web server 2 via the network as described above. A memory 8 that temporarily stores data and the like is connected to the CPU 5. The image recognition server 3 also includes a hard disk 7 that can be accessed by the hard disk drive 6. The program is often transmitted to the image recognition server 3 via a network, but any method may be used. A program stored in a recording medium such as the CD-ROM 10 may be read by the CD-ROM drive 9 and installed in the image recognition server 3.
　図３から図６は，関連情報提供システムの処理手順を示すフローチャートである。図３はスマートフォン１の処理手順を示すフローチャート，図４はウェブ・サーバ２の処理手順を示すフローチャート，図５および図６は画像認識サーバ３の処理手順を示すフローチャートである。 3 to 6 are flowcharts showing the processing procedure of the related information providing system. 3 is a flowchart showing the processing procedure of the smartphone 1, FIG. 4 is a flowchart showing the processing procedure of the web server 2, and FIGS. 5 and 6 are flowcharts showing the processing procedure of the image recognition server 3.
　この処理手順は，スマートフォン１の表示画面上に画像を含むウェブ・ページを表示するものである。その画像に，物体を表す画像（物体画像）が含まれている場合に，その物体画像にリンク（関連情報）が張られる。スマートフォン１のユーザが詳細な情報が得たいと考えられる物体画像の順にリンク付けされる。 This processing procedure is to display a web page including an image on the display screen of the smartphone 1. If the image includes an image representing an object (object image), a link (related information) is attached to the object image. The user of the smartphone 1 is linked in the order of the object images that the user wants to obtain detailed information.
　まず，スマートフォン１のユーザによって，ウェブ・ブラウザが立ち上げられ，所望のウェブ・ページがウェブ・サーバ２に要求される（図３ステップ21）。 First, a web browser is launched by the user of the smartphone 1, and a desired web page is requested from the web server 2 (step 21 in FIG. 3).
　スマートフォン１からのウェブ・ページの要求があったことがウェブ・サーバ２において検出されると（図４ステップ31），要求されたウェブ・ページを表すデータ（HTML(ハイパー・テキスト・マークアップ・ランゲージ)ファイル）がウェブ・サーバ２のメモリが読み出される。読み出されたデータによって表されるウェブ・ページに画像が含まれているかどうかが確認される（図４ステップ32）。 When the web server 2 detects that a web page request from the smartphone 1 has been detected (step 31 in FIG. 4), data representing the requested web page (HTML (Hyper Text Markup Language) ) File) is read out from the memory of the web server 2. It is confirmed whether the image is included in the web page represented by the read data (step 32 in FIG. 4).
　要求されたウェブ・ページに画像が含まれていなければ（図４ステップ32でＮＯ），読み出されたウェブ・ページ・データがウェブ・サーバ２からスマートフォン１に送信される（図４ステップ33）。要求されたウェブ・ページに画像が含まれていると（図４ステップ32でＹＥＳ），読み出されたウェブ・ページ・データは，ウェブ・サーバ２から画像認識サーバ３に送信される（図４ステップ34）。 If no image is included in the requested web page (NO in step 32 in FIG. 4), the read web page data is transmitted from the web server 2 to the smartphone 1 (step 33 in FIG. 4). . If the requested web page includes an image (YES in step 32 in FIG. 4), the read web page data is transmitted from the web server 2 to the image recognition server 3 (FIG. 4). Step 34).
　ウェブ・サーバ２から送信されたウェブ・ページ・データが画像認識サーバ３において受信されると（図５ステップ41でＹＥＳ），物体画像認識処理が行われる（図５ステップ42）。物体画像認識処理は，ウェブ・ページに含まれる画像中の物体画像を認識するとともにリンク付けする順番を決定するものである。この処理について詳しくは後述する。 When the web page data transmitted from the web server 2 is received by the image recognition server 3 (YES in step 41 in FIG. 5), an object image recognition process is performed (step 42 in FIG. 5). In the object image recognition process, an object image in an image included in a web page is recognized and a link order is determined. This process will be described in detail later.
　図７は，要求されたウェブ・ページ60の一例である。 FIG. 7 is an example of the requested web page 60.
　ウェブ・ページ60には，文章61のほかに画像62が含まれている。この画像62には，飛行機の物体画像71，人物の物体画像72，自動車の物体画像73およびビルの物体画像74が含まれている。 The web page 60 includes an image 62 in addition to the text 61. The image 62 includes an airplane object image 71, a person object image 72, a car object image 73, and a building object image 74.
　後述するように，ウェブ・ページ・データが画像認識サーバ３からスマートフォン１に送信されると，図７に示すようなウェブ・ページ60がスマートフォン１の表示画面に表示される。スマートフォン１のユーザは，表示画面に表示されている物体画像71から74のうち，詳細情報が欲しい物体画像上をタップすると，その物体画像のリンク付けが優先される。タップされた物体画像を特定するデータはリンクの優先要求として，スマートフォン１から画像認識サーバ３に送信されることとなる。 As will be described later, when web page data is transmitted from the image recognition server 3 to the smartphone 1, a web page 60 as shown in FIG. 7 is displayed on the display screen of the smartphone 1. When the user of the smartphone 1 taps on an object image for which detailed information is desired among the object images 71 to 74 displayed on the display screen, the link of the object image is given priority. Data specifying the tapped object image is transmitted from the smartphone 1 to the image recognition server 3 as a link priority request.
　図５に戻って，スマートフォン１から画像認識サーバ３にリンクの優先要求があると（ステップ43でＹＥＳ），その優先要求のあった物体画像に対応するリンク情報が検出される（ステップ45）。スマートフォン１のユーザによってタップされた物体画像がどのような画像であるかは物体画像認識処理で認識されており，その認識された物体画像に対応するリンク情報が検出される。リンク情報の検出は，検索エンジンなどを利用してもよいし，画像認識サーバ３にあらかじめ物体画像に対応して格納されているリンク情報の中から見つけ出してもよい。 Returning to FIG. 5, when there is a link priority request from the smartphone 1 to the image recognition server 3 (YES in step 43), link information corresponding to the object image for which the priority request has been made is detected (step 45). The image of the object image tapped by the user of the smartphone 1 is recognized by the object image recognition process, and link information corresponding to the recognized object image is detected. The link information may be detected by using a search engine or the like, or may be found from the link information stored in advance corresponding to the object image in the image recognition server 3.
　スマートフォン１から画像認識サーバ３にリンクの優先要求が無ければ（図５ステップ43でＮＯ），認識された物体画像のうち，リンク情報が検出されていない物体画像であって，彩度の高い物体画像のリンク情報が検出される（図５ステップ44）。ウェブ・ページに含まれる画像中の物体画像のうち，どの物体画像の彩度が高いかどうかも物体画像認識処理において検出される。 If there is no link priority request from the smartphone 1 to the image recognition server 3 (NO in step 43 in FIG. 5), among the recognized object images, an object image in which link information is not detected and an object with high saturation Image link information is detected (step 44 in FIG. 5). In the object image recognition process, it is also detected which of the object images in the image included in the web page has high saturation.
　検出されたリンク情報が物体画像に付加されて（図６ステップ46），リンク情報が付加された物体画像を含むウェブ・ページ・データが画像認識サーバ３からスマートフォン１に送信される（図６ステップ47）。 The detected link information is added to the object image (step 46 in FIG. 6), and web page data including the object image to which the link information is added is transmitted from the image recognition server 3 to the smartphone 1 (step in FIG. 6). 47).
　画像認識サーバ３から送信されたウェブ・ページ・データがスマートフォン１において受信されると（図３ステップ22でＹＥＳ），受信したウェブ・ページ・データによって表されるウェブ・ページ60がスマートフォン１の表示画面に表示される（図３ステップ23）。 When the web page data transmitted from the image recognition server 3 is received by the smartphone 1 (YES in step 22 in FIG. 3), the web page 60 represented by the received web page data is displayed on the smartphone 1. It is displayed on the screen (step 23 in FIG. 3).
　図８は，スマートフォン１の表示画面に表示されるウェブ・ページ60の一例である。 FIG. 8 is an example of a web page 60 displayed on the display screen of the smartphone 1.
　この図において，図６に示すものと同一物については同一符号を付して説明を省略する。画像62に含まれる物体画像71から74のうち，自動車の物体画像73の彩度が高かったものとする。したがって，自動車の物体画像73に最初にリンクが付けられている。 In this figure, the same components as those shown in FIG. Of the object images 71 to 74 included in the image 62, it is assumed that the saturation of the object image 73 of the automobile is high. Therefore, a link is first attached to the object image 73 of the automobile.
　彩度が高い物体画像73は，ユーザの目につきやすいのでユーザは物体画像73について何らかの情報が欲しいと思い，その物体画像73をタップする（図３ステップ24でＹＥＳ）。すると，その物体画像73に付けられているリンク先のサーバにデータが要求される（図３ステップ25）。要求に応じてサーバからデータが送信され，そのデータがスマートフォン１において受信されると（図３ステップ26），受信したデータによって表される物体画像73についての詳細情報がスマートフォン１の表示画面に表示される（図３ステップ27）。 Since the object image 73 with high saturation is easily noticeable by the user, the user wants some information about the object image 73 and taps the object image 73 (YES in step 24 in FIG. 3). Then, data is requested from the link destination server attached to the object image 73 (step 25 in FIG. 3). When data is transmitted from the server in response to the request and the data is received by the smartphone 1 (step 26 in FIG. 3), detailed information about the object image 73 represented by the received data is displayed on the display screen of the smartphone 1. (Step 27 in FIG. 3).
　図９は，スマートフォン１の表示画面に表示される詳細情報の一例である。 FIG. 9 is an example of detailed information displayed on the display screen of the smartphone 1.
　詳細情報画像80には自動車の物体画像73に対応する物体画像81が含まれている。この物体画像81の下には，物体画像81によって表される自動車の製造会社名等の情報82が表示されている。このように，タップされた物体画像73についての詳細情報が得られる。 The detailed information image 80 includes an object image 81 corresponding to the object image 73 of the automobile. Below the object image 81, information 82 such as the name of the automobile manufacturer represented by the object image 81 is displayed. In this way, detailed information about the tapped object image 73 is obtained.
　図３に戻って，リンクが張られている物体画像（例えば，図８において自動車の物体画像73）がタップされずに（図３ステップ24でＹＥＳ），リンクが張られていない物体画像（例えば，図８において飛行機，人物またはビルの物体画像71，72または74）がタップされると（ステップ28でＹＥＳ），そのタップされた物体画像が何かが検出され，その検出された物体画像のリンクの優先要求が行われる（図３ステップ29）。 Returning to FIG. 3, the object image with the link (for example, the object image 73 of the car in FIG. 8) is not tapped (YES in step 24 in FIG. 3), and the object image without the link (for example, , In FIG. 8, when an object image 71, 72 or 74) of a plane, a person or a building is tapped (YES in step 28), something is detected in the tapped object image, and the detected object image A link priority request is made (step 29 in FIG. 3).
　画像認識サーバ３において，スマートフォン１からのリンクの優先要求があると（図５ステップ43でＮＯ），上述のように優先要求あった物体画像のリンク情報が検出される（図５ステップ45）。検出されたリンク情報が優先要求のあった物体画像に付加され，リンク情報が付加された物体画像を含むウェブ・ページ・データが画像認識サーバ３からスマートフォン１に送信される（図６ステップ47）。 In the image recognition server 3, when there is a link priority request from the smartphone 1 (NO in step 43 in FIG. 5), the link information of the object image that has been requested for priority is detected as described above (step 45 in FIG. 5). The detected link information is added to the object image for which priority is requested, and web page data including the object image to which the link information is added is transmitted from the image recognition server 3 to the smartphone 1 (step 47 in FIG. 6). .
　ウェブ・ページ・データが受信されると，リンクが張られていなかった物体画像にリンクが張られるようになる。スマートフォン１の表示画面に表示されている物体画像がタップされることにより，物体画像のリンク先のデータが要求され，上述したのと同様にリンク先のデータが得られる。たとえば，図８に示すように自動車の物体画像73のみにリンクが張られている状態で飛行機の物体画像71がタップされると，上述のようにして飛行機の物体画像71について優先的にリンクが張られるようになる。飛行機の物体画像71にリンクが張られ，その物体画像71がタップされると，図９に示した自動車の詳細情報と同様に，リンク先の飛行機の詳細情報が得られるようになる。 When the web page data is received, a link is established to the object image that has not been linked. By tapping the object image displayed on the display screen of the smartphone 1, the link destination data of the object image is requested, and the link destination data is obtained in the same manner as described above. For example, as shown in FIG. 8, when an airplane object image 71 is tapped with only a car object image 73 being linked, a link is preferentially made on the airplane object image 71 as described above. Be stretched. When a link is made to the airplane object image 71 and the object image 71 is tapped, the detailed information of the linked airplane can be obtained in the same manner as the detailed information of the automobile shown in FIG.
　図10は，ウェブ・ページ60Ａの一例である。 FIG. 10 is an example of a web page 60A.
　図10において，図７等に示すものと同一物については同一符号を付して説明を省略する。 In FIG. 10, the same components as those shown in FIG.
　物体画像71の一部と物体画像75の一部とが重なっている。物体画像71と75のそれぞれにリンクが張られている場合において，その重なっている部分がスマートフォンのユーザによってタップされると，スマートフォン１は，物体画像71または75のうち，彩度の高い方の物体画像に付けられているリンク先にアクセスする。 A part of the object image 71 and a part of the object image 75 are overlapped. When the object images 71 and 75 are linked to each other and the overlapped portion is tapped by the smartphone user, the smartphone 1 selects the object image 71 or 75 with the higher saturation. Access the link destination attached to the object image.
　スマートフォン１には，物体画像71と75との両方にリンク付けが行われているかどうかが判断され，両方にリンク付けが行われている場合には，物体画像71と75とのどちらの彩度が大きいかどうかが判断され，大きい彩度をもつ物体画像に張られているリンク先にアクセスするようにウェブ・ページ・データ60Ａが規定されることとなろう。 The smartphone 1 determines whether both the object images 71 and 75 are linked, and when both are linked, the saturation of either of the object images 71 and 75 is determined. Is determined to be large, and the web page data 60A will be defined to access a link destination attached to an object image having a large saturation.
　上述した実施例では，物体画像73などにリンクが付けられているが，リンクが付けられずに，物体画像がタップ等されることにより，そのタップされた物体画像についての関連情報を表示するポップアップ・ウインドウが現れるようにしてもよい。 In the above-described embodiment, a link is attached to the object image 73 or the like, but a popup that displays related information about the tapped object image when the object image is tapped without being linked. -A window may appear.
　また，上述した物体画像71から74のように複数の物体画像が対象画像62に含まれている場合に，物体画像の彩度の高い順にリンク検出してリンクがつけられるごとにウェブ・ページ・データを画像認識サーバ３からスマートフォン１に送信してもよいが，複数の物体画像をグループに分けて，グループごとにリンクをつけてウェブ・ページ・データを画像認識サーバ３からスマートフォン１に送信するようにしてもよい。 In addition, when a plurality of object images are included in the target image 62 as in the object images 71 to 74 described above, each time a link is added by detecting links in descending order of the saturation of the object image, Data may be transmitted from the image recognition server 3 to the smartphone 1, but a plurality of object images are divided into groups, a link is attached to each group, and web page data is transmitted from the image recognition server 3 to the smartphone 1. You may do it.
　たとえば，図７に示す対象画像62に含まれる物体画像71から74を，飛行機の物体画像71と人物の物体画像72とを含む第１のグループＧ１と，自動車の物体画像73とビルの物体画像74とを含む第２のグループＧ２とに分け，それぞれのグループに属する物体画像の彩度の最も高い彩度をそのグループの代表彩度とし，代表彩度をグループごとに比較し，代表彩度の大きいグループ順にリンク付けをするようにしてもよい。 For example, the object images 71 to 74 included in the target image 62 shown in FIG. 7, the first group G1 including the object image 71 of the airplane and the object image 72 of the person, the object image 73 of the automobile, and the object image of the building 74, and the second saturation G2 is divided into the second group G2, the highest saturation of the object images belonging to each group is set as the representative saturation of the group, and the representative saturation is compared for each group. You may make it link in the order of a large group.
　たとえば，図７に示す物体画像71の彩度をＳ71，物体画像72の彩度をＳ72，物体画像73の彩度をＳ73および物体画像74の彩度をＳ74とする。物体画像71の彩度Ｓ71の方が物体画像72の彩度Ｓ72よりも大きく，物体画像73の彩度Ｓ73の方が物体画像74の彩度Ｓ74よりも大きいとする。第１のグループＧ１の代表彩度はＳ71であり，第２のグループＧ２の代表彩度はＳ73となる。第２のグループＧ２の代表彩度Ｓ73の方が第１のグループＧ１の代表彩度Ｓ71より大きい場合には，第２のグループＧ２に含まれる物体画像73および74のリンク付けが，第１のグループＧ１に含まれる物体画像71および72のリンク付けよりも優先される。グループの代表彩度以外の彩度はリンク付けの順番に影響を与えない。たとえば，第２のグループＧ２の代表彩度Ｓ73の方が第１のグループＧ１の代表彩度Ｓ71より大きければ，第２のグループＧ２に属する物体画像74の彩度Ｓ74のよりも第１のグループＧ１に属する物体画像72の方が大きくとも，第２グループＧ２に属する物体画像73および73のリンク付けの方が，第１グループＧ１に属する物体画像71および72のリンク付けよりも優先されることとなる。 For example, the saturation of the object image 71 shown in FIG. 7 is S71, the saturation of the object image 72 is S72, the saturation of the object image 73 is S73, and the saturation of the object image 74 is S74. It is assumed that the saturation S71 of the object image 71 is greater than the saturation S72 of the object image 72, and the saturation S73 of the object image 73 is greater than the saturation S74 of the object image 74. The representative saturation of the first group G1 is S71, and the representative saturation of the second group G2 is S73. When the representative saturation S73 of the second group G2 is greater than the representative saturation S71 of the first group G1, the linking of the object images 73 and 74 included in the second group G2 is the first This is prioritized over linking the object images 71 and 72 included in the group G1. Saturation other than the representative saturation of the group does not affect the order of linking. For example, if the representative saturation S73 of the second group G2 is greater than the representative saturation S71 of the first group G1, the first group than the saturation S74 of the object image 74 belonging to the second group G2. Even if the object image 72 belonging to G1 is larger, the linking of the object images 73 and 73 belonging to the second group G2 has priority over the linking of the object images 71 and 72 belonging to the first group G1. It becomes.
　図11は，物体画像認識処理手順（図５ステップ42の処理手順）を示すフローチャートである。 FIG. 11 is a flowchart showing the object image recognition processing procedure (the processing procedure of step 42 in FIG. 5).
　ウェブ・ページに含まれる対象画像62（図７参照）から物体画像の輪郭抽出処理が行われる（ステップ91）。 The contour extraction process of the object image is performed from the target image 62 (see FIG. 7) included in the web page (step 91).
　図12は，物体画像の輪郭が抽出された輪郭画像110の一例である。 FIG. 12 is an example of the contour image 110 from which the contour of the object image is extracted.
　輪郭抽出処理により，上述した飛行機，人物，自動車およびビルの物体画像71，72，73および74に対応する輪郭111，112，113および114が抽出される。 The contours 111, 112, 113, and 114 corresponding to the above-described object images 71, 72, 73, and 74 of the airplane, person, automobile, and building are extracted by the contour extraction process.
　また，輪郭抽出処理と並行して以下の処理が行われる。 In addition, the following processing is performed in parallel with the contour extraction processing.
　対象画像72の中から所定範囲内の彩度をもつ画素が抽出される（ステップ92）。 Pixels having a saturation within a predetermined range are extracted from the target image 72 (step 92).
　図13は，対象画像72の中から所定範囲内の彩度をもつ画素が抽出された様子を示している。 FIG. 13 shows a state in which pixels having a saturation within a predetermined range are extracted from the target image 72.
　対象画像120の中から所定範囲内の彩度をもつ画素が抽出されることにより，複数の画素群111，112，113および114が得られる。所定範囲内の彩度をもつ画素が抽出されることにより，偶然高い彩度をもつ画素などが排除される。 A plurality of pixel groups 111, 112, 113, and 114 are obtained by extracting pixels having saturation within a predetermined range from the target image 120. By extracting pixels having saturation within a predetermined range, pixels having high saturation by chance are excluded.
　つづいて，抽出された画素の中から，もっとも高い彩度をもつ画素が検出される（図11ステップ93）。この検出処理により，図13に示すように画素113ｍが得られたものとする。すると，得られた画素113ｍのＲＧＢ座標系における位置が検出される（ステップ94）。図14に示すように，もっとも高い彩度をもつ画素113ｍのＲＧＢ座標系における位置が検出される。 Subsequently, the pixel having the highest saturation is detected from the extracted pixels (step 93 in FIG. 11). It is assumed that a pixel 113m is obtained by this detection process as shown in FIG. Then, the position of the obtained pixel 113m in the RGB coordinate system is detected (step 94). As shown in FIG. 14, the position of the pixel 113m having the highest saturation in the RGB coordinate system is detected.
　さらに，ＲＧＢ座標系において，もっとも高い彩度をもつ画素113ｍとＲ＝Ｇ＝Ｂの直線とを含む基準平面が検出される（ステップ95）。図15に示すように，そのような基準平面130が得られる。つづいて基準平面130が平行に広げられながら広げられた基準平面（基準空間）131に存在する画素群115が見つけられる（図11ステップ97）。図16に示すように，高い彩度の画素113ｍの近傍の画素が画素群115として見つけられる。このことは，図７，図13等に示す対象画像62と同じ座標系で捉えると，図17に示すように，もっとも高い彩度の画素113ｍの回りの画素115が見つけられることとなる。基準平面130が広げられ，広げられた基準平面130内に含まれる画素が見つけられていくことにより，もっとも高い彩度の画素113ｍを中心に，その高い彩度の画素113ｍを含む物体画像73が得られていくこととなる。 Further, in the RGB coordinate system, a reference plane including the pixel 113m having the highest saturation and a straight line of R = G = B is detected (step 95). As shown in FIG. 15, such a reference plane 130 is obtained. Subsequently, the pixel group 115 existing in the expanded reference plane (reference space) 131 while the reference plane 130 is expanded in parallel is found (step 97 in FIG. 11). As shown in FIG. 16, pixels near the highly saturated pixel 113m are found as the pixel group 115. If this is captured in the same coordinate system as the target image 62 shown in FIGS. 7, 13, etc., as shown in FIG. 17, the pixels 115 around the pixel 113m having the highest saturation are found. By expanding the reference plane 130 and finding pixels included in the expanded reference plane 130, an object image 73 including the pixel 113m having the highest saturation is centered on the pixel 113m having the highest saturation. It will be obtained.
　このようにして得られた画素群115と，抽出された輪郭とがマッチング処理されることにより（ステップ100），画素群115がどのような物体かが検出される（ステップ101）。この例では，自動車の物体画像73が検出されることとなる。検出された物体画像の位置およびどのような物体かを示す（自動車という物体だけでなく，その自動車の車種名なども含む）データは，対象画像62を表わすファイルのヘッダに格納される。その位置にある物体画像について次に示すようにリンク付けが行われる。 The pixel group 115 thus obtained and the extracted contour are subjected to matching processing (step 100), thereby detecting what kind of object the pixel group 115 is (step 101). In this example, an object image 73 of the automobile is detected. Data indicating the position of the detected object image and what kind of object (including not only the object of the automobile but also the model name of the automobile) is stored in the header of the file representing the target image 62. The object image at that position is linked as shown below.
　このようにして検出された物体画像73には，上述のように彩度がもっとも高い画素が含まれているので，その物体画像73が最初にリンク付けされる。その後は，上述のようにリンク付けされた物体画像73を含むウェブ・ページ・データが画像認識サーバ３からスマートフォン１に送信されることとなる。 Since the object image 73 detected in this way includes the pixel with the highest saturation as described above, the object image 73 is linked first. Thereafter, the web page data including the object image 73 linked as described above is transmitted from the image recognition server 3 to the smartphone 1.
　このような物体認識処理が繰り返されることにより，対象画像62に含まれるすべての物体画像71から74のリンク付けの順序が決定されることとなる。 By repeating such object recognition processing, the order of linking all the object images 71 to 74 included in the target image 62 is determined.
　図18は，物体画像認識処理手順（図５ステップ42の処理手順）の他の一例を示すフローチャートである。 FIG. 18 is a flowchart showing another example of the object image recognition processing procedure (the processing procedure of step 42 in FIG. 5).
　図11に示す処理と同様に物体画像の輪郭が抽出される（ステップ91）。 The outline of the object image is extracted as in the process shown in FIG. 11 (step 91).
　また，物体画像の輪郭抽出と並行して次の処理が行われる。 In addition, the following processing is performed in parallel with the contour extraction of the object image.
　まず，対象画像62（図７参照）全体の画素のそれぞれについて式１にしたがったαが算出される（ステップ151）。 First, α is calculated according to Equation 1 for each pixel of the entire target image 62 (see FIG. 7) (step 151).
　α＝（ｔ１－Ｒ）×（ｔ１－Ｒ）＋（ｔ１－Ｇ）×（ｔ１－Ｇ）＋（ｔ１－Ｂ）×（ｔ１－Ｂ）・・・式１ Α = (t1−R) × (t1−R) + (t1−G) × (t1−G) + (t1−B) × (t1−B) Equation 1
　つづいて，式１にしたがって得られるαの中から最大の値が得られる一つの画素が決定される（ステップ152）。たとえば，図13に示したように画素113ｍが決定される。このようにして決定された一つの画素とＲ＝Ｇ＝Ｂの直線とを含む基準平面が上述したのと同様に決定される（ステップ153）。その後は，図11等を参照して説明したように図11のステップ97以降の処理が行われてリンク付けの順番が決定される。 Subsequently, one pixel from which the maximum value is obtained is determined from α obtained according to Equation 1 (step 152). For example, the pixel 113m is determined as shown in FIG. A reference plane including one pixel determined in this way and a straight line of R = G = B is determined in the same manner as described above (step 153). Thereafter, as described with reference to FIG. 11 and the like, the processing after step 97 in FIG. 11 is performed to determine the order of linking.
　上述の実施例においては，式１にしたがって算出されるαが最大の値が得られる一つの画素を利用しているが，式１にしたがって算出されるαがＤ１以上Ｄ２以下の所定範囲内に収まるような一つの画素を決定し，そのような画素とＲ＝Ｇ＝Ｂの直線とを含む基準平面を決定してもよい。その後は，図11等を参照して説明したように図11のステップ97以降の処理が行われてリンク付けの順番が決定される。 In the above-described embodiment, one pixel that obtains the maximum value of α calculated according to Equation 1 is used, but α calculated according to Equation 1 is within a predetermined range of D1 to D2. One pixel that can be accommodated is determined, and a reference plane including such a pixel and a straight line of R = G = B may be determined. Thereafter, as described with reference to FIG. 11 and the like, the processing after step 97 in FIG. 11 is performed to determine the order of linking.
　また，上述のＤ１以上Ｄ２以下の所定範囲については，対象画像62が撮像されたものである場合には撮像シーンに応じて決定されることが好ましい。 In addition, the predetermined range of D1 to D2 is preferably determined according to the imaging scene when the target image 62 is captured.
　たとえば，対象画像を構成する画素62のＲ，Ｇ，Ｂの最大濃度がSMAXとされた場合，撮影シーンが街中である場合には，３×SMAX以上であり10×SMAX以下のＤ１，14×SMAX以上であり43×SMAX以下のＤ２，撮影シーンが海または駅中である場合には，３×SMAX以上であり10×SMAX以下のＤ１，60×SMAX以上であり90×SMAX以下のＤ２，撮影シーンがショッピング・モールである場合には，３×SMAX以上であり10×SMAX以下のＤ１，16×SMAX以上であり47×SMAX以下のＤ２により規定されるＤ１からＤ２までの範囲が所定範囲の一例である。 For example, if the maximum density of R, G, B of the pixel 62 constituting the target image is SMAX, and the shooting scene is in the city, D1, 14 × that is 3 × SMAX or more and 10 × SMAX or less. If D2 is greater than SMAX and 43 × SMAX or less, and the scene is in the sea or in the station, D2, greater than 3 × SMAX, less than 10 × SMAX, greater than D1, 60 × SMAX, and greater than 90 × SMAX. When the shooting scene is a shopping mall, the range from D1 to D2 defined by D1, which is 3 × SMAX or more and 10 × SMAX or less D1, 16 × SMAX or more and 47 × SMAX or less, is a predetermined range. It is an example.
　また，物体画像の種類が分かっている場合には，その物体画像の種類に応じて，Ｄ１およびＤ２の所定範囲が規定されていてもよい。 In addition, when the type of the object image is known, a predetermined range of D1 and D2 may be defined according to the type of the object image.
　たとえば，物体画像が自動車である場合には，SMAX以上であり10×SMAX以下のＤ１，75×SMAX以上であり125×SMAX以下のＤ２，物体画像が美術建築物である場合には，0.5×SMAX以上であり42×SMAX以下のＤ１，0.5×SMAX以上であり42×SMAX以下のＤ２（但し，Ｄ１はＤ２以下），物体画像がショッピング・モールである場合には，0.5×SMAX以上であり５×SMAX以下のＤ１，５×SMAX以上であり47×SMAX以下のＤ２，物体画像が動物である場合には，0.5×SMAX以上であり10×SMAX以下のＤ１，20×SMAX以上であり125×SMAX以下のＤ２により規定されるＤ１からＤ２までの範囲が所定範囲である。 For example, if the object image is an automobile, D1, which is greater than or equal to SMAX and less than or equal to 10 × SMAX, is greater than or equal to D1, 75 × SMAX and less than or equal to 125 × SMAX, and D2 is less than 125 × SMAX D1 which is SMAX or more and 42 × SMAX or less, D1, 0.5 × SMAX or more and D2 which is 42 × SMAX or less (where D1 is D2 or less), and 0.5 × SMAX or more when the object image is a shopping mall D1, 5 × SMAX or less, D1, 5 × SMAX or more, 47 × SMAX or less, D2, If the object image is an animal, 0.5 × SMAX or more, 10 × SMAX or less, D1, 20 × SMAX or more, 125 The range from D1 to D2 defined by D2 below SMAX is the predetermined range.
　図19および図20は，物体画像認識処理手順（図５ステップ42の処理手順）を示すフローチャートである。 19 and 20 are flowcharts showing the object image recognition processing procedure (the processing procedure of step 42 in FIG. 5).
　図８に示す処理手順と同様に対象画像の輪郭が抽出される（ステップ91）。 The outline of the target image is extracted in the same manner as the processing procedure shown in FIG. 8 (step 91).
　また，対象画像の輪郭抽出と並行して以下の処理が行われる。 Also, the following processing is performed in parallel with the contour extraction of the target image.
　まず，対象画像の中から所定範囲内の彩度または最も高い彩度をもつ画素が抽出される（ステップ161）。図13に示したように最も高い彩度をもつ画素113ｍが抽出されたものとする。すると，抽出された画素のＲＧＢ座標系における位置が検出される（ステップ162）。図14に示したようにＲＧＢ座標系における画素113ｍの位置が検出される。図15に示したように，検出された位置とＲ＝Ｇ＝Ｂの直線とを含む基準平面130が検出される（ステップ163）。 First, a pixel having a saturation within the predetermined range or the highest saturation is extracted from the target image (step 161). Assume that the pixel 113m having the highest saturation is extracted as shown in FIG. Then, the position of the extracted pixel in the RGB coordinate system is detected (step 162). As shown in FIG. 14, the position of the pixel 113m in the RGB coordinate system is detected. As shown in FIG. 15, a reference plane 130 including the detected position and a straight line of R = G = B is detected (step 163).
　つづいて，対象画像の輪郭抽出処理により得られた輪郭画像について，マッチング処理が行われる（ステップ164）。このマッチング処理により，輪郭画像に含まれている物体画像がどのような物体を表わしているかが検出される。たとえば，図12に示す例では，輪郭111，112，113および114のそれぞれが，飛行機，人物，自動車およびビルを表わしているものと推測される。 Subsequently, matching processing is performed on the contour image obtained by the contour extraction processing of the target image (step 164). By this matching processing, it is detected what kind of object the object image included in the contour image represents. For example, in the example shown in FIG. 12, each of the contours 111, 112, 113, and 114 is assumed to represent an airplane, a person, a car, and a building.
　つづいて，検出された輪郭111，112，113および114のそれぞれにおいて（Ri-Rj，Gi-Gj，Bi-Bj）の規格化ベクトルと基準平面130の法線ベクトルとの内積が輪郭内の画素について積算される（図20ステップ165）。すると，得られた積算値が輪郭内の画素数で除算され，その除算値γが，あらかじめ規定された値よりも小さいかどうかが確認される（ステップ167）。 Subsequently, in each of the detected contours 111, 112, 113, and 114, the inner product of the normalized vector of (Ri-Rj, Gi-Gj, Bi-Bj) and the normal vector of the reference plane 130 is the pixel in the contour. (Step 165 in FIG. 20). Then, the obtained integrated value is divided by the number of pixels in the contour, and it is confirmed whether or not the divided value γ is smaller than a predetermined value (step 167).
　除算値γがあらかじめ規定された値よりも小さければ（ステップ167でＹＥＳ），マッチング処理の結果が確定する（ステップ168）。たとえば，図12において輪郭111が飛行機を表わす物体画像と推測され，かつ輪郭111内の画素にもとづいて得られた除算値γがあらかじめ規定された値よりも小さい場合には，その輪郭111は飛行機を表わしているものと確定する。その他の領域についても同様である。除算値γがあらかじめ規定された値以上であれば，図19ステップ161において抽出された画素の近傍の画素を用いて（ステップ171），上述したステップ162からの処理が繰り返される。また，物体画像認識処理の開始から所定時間が経過していない場合にも（ステップ169でＮＯ），図19ステップ161において抽出された画素の近傍の画素を用いて（ステップ171），上述したステップ162からの処理が繰り返される。これにより，確定する物体画像の数が増加することとなる。 If the division value γ is smaller than a predetermined value (YES in step 167), the result of the matching process is determined (step 168). For example, in FIG. 12, when the contour 111 is estimated as an object image representing an airplane, and the division value γ obtained based on the pixels in the contour 111 is smaller than a predetermined value, the contour 111 is It is determined that it represents. The same applies to other areas. If the division value γ is equal to or greater than a predetermined value, the processing from step 162 described above is repeated using pixels in the vicinity of the pixel extracted in step 161 in FIG. 19 (step 171). Even when the predetermined time has not elapsed since the start of the object image recognition process (NO in step 169), the above-described steps are performed using pixels in the vicinity of the pixels extracted in step 161 in FIG. 19 (step 171). The process from 162 is repeated. As a result, the number of object images to be determined increases.
　所定時間が経過すると（ステップ169でＹＥＳ），どのような物体を表しているかが確定した輪郭（物体画像）についてリンク情報を検出するように設定される（ステップ170）。物体画像認識処理が終了すると，上述したように，認識された物体画像についてのリンク情報が検出されるようになる。 When a predetermined time has elapsed (YES in step 169), the link information is set to be detected for a contour (object image) in which what kind of object is represented is determined (step 170). When the object image recognition process is completed, as described above, the link information about the recognized object image is detected.
　上述の実施例では，ステップ165において，検出された輪郭111，112，113および114のそれぞれにおいて（Ri-Rj，Gi-Gj，Bi-Bj）の規格化ベクトルと（１，１，１）／√３との内積（式２）が輪郭内の画素について積算されるようにしてもよい。そのようにして得られた積算値が輪郭内の画素数で除算され，得られた除算値δがあらかじめ規定された値よりも小さいかどうかが判断される。 In the above embodiment, in step 165, the normalized vector of (Ri-Rj, Gi-Gj, Bi-Bj) and (1, 1, 1) / in each of the detected contours 111, 112, 113 and 114, respectively. The inner product (equation 2) with √3 may be integrated for the pixels in the contour. The integrated value thus obtained is divided by the number of pixels in the contour, and it is determined whether or not the obtained divided value δ is smaller than a predetermined value.
　上述した実施例では，ＲＧＢの３色により対象画像62が表わされ，その３色のＲＧＢ座標系において，高い彩度をもつ画素が含まれている物体画像からリンク付けがされているが，Ｎ（Ｎは２以上の整数）色により対象画像が表わされ，このＮ色以下のＭ色座標系を考え，その座標系において，原点を通り，かつ傾きが１の基準直線からの距離ｄ１の大きな画素を含む物体画像についての関連情報を優先的に見つけるようにしてもよい。 In the embodiment described above, the target image 62 is represented by three colors of RGB, and in the RGB coordinate system of the three colors, a link is made from an object image including pixels with high saturation. The target image is represented by N (N is an integer of 2 or more) colors. Consider an M color coordinate system of N colors or less, and the distance d1 from the reference line passing through the origin and having a slope of 1 in the coordinate system. Related information regarding an object image including a large pixel may be found preferentially.
　その場合には，上記式１は，ｔ１＝ΣSi／Mとしたときに，α=Σ[(t1-Si)・(t1-Si)]で表わされる。また，上記式２は，ｔ3を実数とした場合，(１＋t3)(S1,S2,・・・SM)－t3×ΣSi（1,1,1,・・・１）／Ｍで表わされる。 In this case, Equation 1 is expressed by α = Σ [(t1-Si) · (t1-Si)] where t1 = ΣSi / M. Further, the above equation 2 is represented by (1 + t3) (S1, S2,... SM) −t3 × ΣSi (1,1,1,... 1) / M, where t3 is a real number.
　図21は，上述した対象画像62（図７参照）を撮像するのに用いられた撮像素子の受光面上にベイヤ配列されているカラー・フィルタ特性の一例である。横軸が波長であり，縦軸が透過率である。カラー・フィルタには，青色の光成分を透過する特性を有するフィルタ，緑色のフィルタ成分を透過する特性を有するフィルタおよび赤色の光成分を透過する特性を有するフィルタがベイヤ配列されている。 FIG. 21 is an example of color filter characteristics arranged in a Bayer array on the light receiving surface of the image sensor used to capture the above-described target image 62 (see FIG. 7). The horizontal axis is the wavelength, and the vertical axis is the transmittance. In the color filter, a filter having a characteristic of transmitting a blue light component, a filter having a characteristic of transmitting a green filter component, and a filter having a characteristic of transmitting a red light component are arranged in a Bayer array.
　グラフＦＢは，青色の光成分を透過する特性を示すもので，450nm程度の波長を主に透過させる特性を示している。グラフＦＧは緑色の光成分を透過する特性を示すもので，540nm程度の波長を主に透過させる特性を有している。グラフＦＲは赤色の光成分を透過する特性を示すもので，620nm以上の波長を主に透過させる特性を有している。 Graph FB shows a characteristic of transmitting a blue light component, and shows a characteristic of mainly transmitting a wavelength of about 450 nm. The graph FG shows the characteristic of transmitting a green light component, and has a characteristic of mainly transmitting a wavelength of about 540 nm. The graph FR shows a characteristic of transmitting a red light component, and has a characteristic of mainly transmitting a wavelength of 620 nm or more.
　図21に示す特性をもつカラー・フィルタを用いて被写体を撮像することにより対象画像が得られることが一般的であるが，この実施例では，図22に示す特性をもつカラー・フィルタを用いて撮像されることが好ましい。 In general, a target image is obtained by imaging a subject using a color filter having the characteristics shown in FIG. 21, but in this embodiment, a color filter having the characteristics shown in FIG. 22 is used. It is preferable that an image is taken.
　図22も，撮像素子の受光面上にベイヤ配列されているカラー・フィルタの特性を示している。 FIG. 22 also shows the characteristics of the color filters arranged in a Bayer array on the light receiving surface of the image sensor.
　図21に示す例と同様に，カラー・フィルタには，青色の光成分を透過する特性を有するフィルタ，緑色のフィルタ成分を透過する特性を有するフィルタおよび赤色の光成分を透過する特性を有するフィルタがベイヤ配列されているが，図20の特性を与えるカラー・フィルタであって赤色の光成分を透過する特性を有するフィルタのうち，一部のフィルタがグラフＦＰで示すように，650nm近傍の波長の透過率が低くなっている。これにより，対象画像は，青色，緑色，赤色およびピンクにより表わされるようになる。 Similar to the example shown in FIG. 21, the color filter includes a filter having a characteristic of transmitting a blue light component, a filter having a characteristic of transmitting a green filter component, and a filter having a characteristic of transmitting a red light component. Is a color filter that gives the characteristics shown in FIG. 20 and has a characteristic that transmits the red light component. As shown in the graph FP, some of the filters have wavelengths in the vicinity of 650 nm. The transmittance of is low. As a result, the target image is represented by blue, green, red, and pink.
　図22に示すように４色の特性を有するカラー・フィルタを用いて被写体が撮像されることにより得られる対象画像について，上述した物体画像認識処理が行われると，物体画像の特定までの時間が短くなる。なお、この場合赤色とピンクの画像データ信号を変換してより正確な赤色信号を得て色再現にもたらした効果と、650nm近辺の特異的な波長の信号を認識アルゴリズムに投入することで得られた効果とが考えられる。もちろん、650nm近辺で認識度が上がる物体と、他の波長で効果が得られる物体が存在するが、このような原理で複数の色信号を得たり、適切な波長に設定したりすることが行われる。 As shown in FIG. 22, when the object image recognition process described above is performed on a target image obtained by imaging a subject using a color filter having four color characteristics, the time until the object image is specified is determined. Shorter. In this case, it is obtained by converting the red and pink image data signals to obtain a more accurate red signal and bringing it to color reproduction, and by inputting a signal with a specific wavelength around 650 nm into the recognition algorithm. The effect is considered. Of course, there are objects whose recognition increases around 650 nm and objects that can be effective at other wavelengths, but it is possible to obtain multiple color signals or set them to appropriate wavelengths based on this principle. Is called.
　また，対象画像を表わす３色または４色のデータのほかにＩR信号，紫外線信号が加えられてもよい。これらの信号を利用して物体認識を行うことができるようになる。 Further, an IR signal and an ultraviolet signal may be added in addition to the data of three colors or four colors representing the target image. Object recognition can be performed using these signals.
　図22に示すように４色のカラー・フィルタの特性は，少なくとも色のスペクトルの重なりが80パーセントであることが好ましい。また，上述したようにグラフＦＲとＦＰとで表わされるように一方のスペクトル（グラフＦＰ）が他方のスペクトル（グラフＦＲ）に含まれるものでもよい。 As shown in FIG. 22, the characteristics of the four color filters are preferably such that at least the color spectrum overlap is 80%. Further, as described above, one spectrum (graph FP) may be included in the other spectrum (graph FR) as represented by graphs FR and FP.
　さらに，上述のように４色またはそれ以上の色によってカラー対象画像が表現される場合には，４色またはそれ以上の色の差信号にもとづいて物体画像にリンクをつける順序を決定するようにしてもよい。たとえば，物体画像を構成する画素が，グラフＦＢ，ＦＧ，ＦＲおよびＦＰの特性のフィルタによって得られる光成分をＬＢ，ＬＧ，ＬＲおよびＬＰとすると，任意の差信号｜ＬＢ－ＬＧ｜，｜ＬＢ－ＬＲ｜，｜ＬＢ－ＬＰ｜，｜ＬＧ－ＬＲ｜，｜ＬＧ－ＬＰ｜または｜ＬＲ－ＬＰ｜を算出し，得られた信号の大きい順または小さい順に，上述したリンク付けの順番を規定するようにしてもよい。 Furthermore, when the color target image is expressed by four or more colors as described above, the order of linking the object images is determined based on the difference signal of the four or more colors. May be. For example, if the pixels constituting the object image are LB, LG, LR, and LP as light components obtained by the filters having the characteristics of graphs FB, FG, FR, and FP, any difference signal | LB−LG |, | LB -LR |, | LB-LP |, | LG-LR |, | LG-LP |, or | LR-LP | are calculated, and the above-mentioned linking order is specified in the order of larger or smaller obtained signal. You may make it do.
　また，上述の実施例では，物体画像の関連情報としてリンクを取り上げ，物体画像にリンク付けする順序を規定しているが，リンク付けするのではなく，物体画像上にカーソルなどが置かれることにより，矩形などのポップアップ・ウインドウが表示され，そのポップアップ・ウインドウに関連情報が表示されるような順序を規定するようにしてもよい。必ずしも，関連情報はリンクに限らず，関連情報自体が表示されるようなものでもよい。 In the above-described embodiment, the link is taken as the related information of the object image and the order of linking to the object image is defined. However, instead of linking, a cursor is placed on the object image. A pop-up window such as a rectangle may be displayed, and the order in which related information is displayed in the pop-up window may be defined. The related information is not necessarily limited to the link, and the related information itself may be displayed.
１　スマートフォン
２　ウェブ・サーバ
３　画像認識サーバ
５　ＣＰＵ
60　ウェブ・ページ
62　対象画像
71－74　物体画像 DESCRIPTION OF SYMBOLS 1 Smart phone 2 Web server 3 Image recognition server 5 CPU
60 web pages
62 Target image
71-74 Object image

Claims (32)

  1. 　関連情報が付加されるカラー対象画像であって，Ｎ（Ｎは２以上の整数）色の色データによって表わされるカラー対象画像に含まれる少なくとも一つの物体画像を検出する物体画像検出手段，
    　上記物体画像検出手段によって検出された少なくとも一つの物体画像について，クライアント端末から特定の物体認識要求が無い場合には、Ｎ色の数以下のＭ色の空間座標において原点を通り，かつ傾きが１の基準直線からの距離ｄ１の大きな画素を含む物体画像についての関連情報を見つける関連情報検索手段，
    　上記関連情報検出手段により見つけられた関連情報を，対応する物体画像に付加する関連情報付加手段，
    　上記関連情報付加手段によって関連情報が付加された物体画像を含む上記カラー対象画像を表わすカラー対象画像データを，クライアント端末装置に送信するカラー対象画像データ送信手段，ならびに
    　上記関連情報検索手段，上記関連情報付加手段および上記カラー対象画像データ送信手段によるそれぞれの処理を繰り返すように，上記関連情報検索手段，上記関連情報付加手段および上記カラー対象画像データ送信手段を制御する第１の制御手段を備えた物体画像の関連情報提供システム。     Object image detection means for detecting at least one object image included in a color target image, which is a color target image to which related information is added and is represented by color data of N (N is an integer of 2 or more) color,
    For at least one object image detected by the object image detecting means, when there is no specific object recognition request from the client terminal, it passes through the origin in the M color space coordinates equal to or less than the number of N colors, and the inclination is 1 Related information search means for finding related information about an object image including a pixel having a large distance d1 from the reference straight line;
    Related information adding means for adding related information found by the related information detecting means to a corresponding object image;
    Color target image data transmitting means for transmitting color target image data representing the color target image including the object image to which the related information is added by the related information adding means to the client terminal device, the related information searching means, the related information A first control unit for controlling the related information retrieval unit, the related information addition unit, and the color target image data transmission unit so as to repeat the respective processes by the information addition unit and the color target image data transmission unit; System for providing related information on object images.
  2. 　上記Ｍ色は，３色であることを特徴とする請求項１に記載の関連情報提供システム。 2. The related information providing system according to claim 1, wherein the M colors are three colors.
  3. 　上記関連情報検索手段は，
    　M色の空間座標において原点を通り，かつ傾きが１の基準直線からの距離ｄ１が大きい画素をもつ順に物体画像についての関連情報を見つけるものであり，
    　上記カラー対象画増データ送信手段は，
    　あらかじめ設定された時間が経過したことにより，上記関連情報付加手段によって関連情報が付加された物体画像を含む上記カラー対象画像を表わすカラー対象画像データを，クライアント端末装置に送信するものである，
    　請求項１に記載の関連情報提供システム。      The related information retrieval means is
    The related information about the object image is found in order of pixels having a distance d1 from the reference line having a slope of 1 and passing through the origin in the M color space coordinates,
    The color target image increase data transmission means
    When a preset time has elapsed, color target image data representing the color target image including the object image to which the related information is added by the related information adding means is transmitted to the client terminal device.
    The related information provision system according to claim 1.
  4. 上記第一の制御手段に従い、カラー対象画像データを送信するごとに、それまでに関連情報が付加されていなかった物体画像の中で，上記距離ｄ1の値が最も大きな画素を持つ物体画像が，新たに関連情報が付加されるものである，
    　請求項１から３のうち，いずれか一項に記載の関連情報提供システム。     Every time color target image data is transmitted according to the first control means, an object image having a pixel having the largest value of the distance d 1 among the object images to which related information has not been added so far. , Related information is newly added,
    The related information provision system according to any one of claims 1 to 3.
  5. 　上記M色が少なくともＲ色，Ｇ色およびＢ色を含む場合には，カラー対象画像に含まれる色成分の割合が，Ｒ成分が80％以上，Ｇ成分が80%以上，かつＢ成分が80%以上であることを特徴とする，
    　請求項１から４のうちいずれか一項に記載の関連情報提供システム。     When the M color includes at least the R color, the G color, and the B color, the ratio of the color components included in the color target image is such that the R component is 80% or more, the G component is 80% or more, and the B component is 80 % Or more,
    The related information provision system according to any one of claims 1 to 4.
  6. 上記物体画像検出手段によって検出された複数の物体画像のうち，Ｎ色がＲ色，Ｇ色およびＢ色を含む３色であり，
    　上記関連情報検出手段は，彩度の大きい物体画像の順に関連情報を検出するものである，
    　請求項１から５のうち，いずれか一項に記載の物体画像の関連情報提供システム。     Among the plurality of object images detected by the object image detecting means, N colors are three colors including R color, G color and B color,
    The related information detecting means detects related information in the order of object images with high saturation.
    The related information provision system of the object image as described in any one of Claims 1-5.
  7. 　上記関連情報付加手段は，
    　上記カラー対象画像データ送信手段によってカラー対象画像データがクライアント端末装置に送信されたことに応じて，クライアント端末装置に設けられている表示画面に表示されるカラー対象画像に含まれる複数の物体画像のうち所望の物体画像が指定されたことにより，指定された物体画像の関連情報が上記表示画面に表示されるように物体画像に関連情報を付加するものであり，かつ一の物体画像が他の物体画像と重なっている部分が指定されることに応じて一の物体画像と他の物体画像とのうち上記距離ｄ1の大きな物体画像の関連情報が表示画面に表示されるように物体画像の関連情報を付加するものである，
    　請求項１から６のうち，いずれか一項に記載の関連情報提供システム。     The related information adding means is
    In response to the transmission of the color target image data to the client terminal device by the color target image data transmission means, a plurality of object images included in the color target image displayed on the display screen provided in the client terminal device. Among them, when a desired object image is specified, the related information of the specified object image is added to the object image so that the related information is displayed on the display screen. In response to designation of a portion overlapping with the object image, the related information of the object image having the large distance d 1 among the one object image and the other object image is displayed on the display screen. Add related information,
    The related information provision system according to any one of claims 1 to 6.
  8. 　上記関連情報付加手段は，
    　上記カラー対象画像データ送信手段によってカラー対象画像データがクライアント端末装置に送信されたことに応じて，クライアント端末装置に設けられている表示画面に表示されるカラー対象画像に含まれる複数の物体画像のうち所望の物体画像が指定されたことにより，指定された物体画像の関連情報が上記表示画面に表示されるように物体画像に関連情報を付加するものであり，かつ一の物体画像が他の物体画像と重なっている部分が指定されることに応じて一の物体画像と他の物体画像とのうち彩度の大きな物体画像の関連情報が表示画面に表示されるように物体画像の関連情報を付加するものである，
    　請求項１から７のうち，いずれか一項に記載の関連情報提供システム。     The related information adding means is
    In response to the transmission of the color target image data to the client terminal device by the color target image data transmission means, a plurality of object images included in the color target image displayed on the display screen provided in the client terminal device. Among them, when a desired object image is specified, the related information of the specified object image is added to the object image so that the related information is displayed on the display screen. Related information of object image so that related information of object image with high saturation of one object image and other object image is displayed on the display screen according to the part that overlaps with object image is specified Is added,
    The related information provision system according to any one of claims 1 to 7.
  9. 　カラー対象画像を構成する画素のすべてについて，上記Ｍ色のM種信号レベルをS1,S2,…SMとし，ｔ１を，ｔ１＝Σ（Ｓｉ／Ｍ）としたときに，α1=Σ[(t1-Si)・(t1-Si)]を算出するM種レベル算出手段をさらに備え，
    　上記関連情報検出手段は，上記α1が最大である画素を含んでいる物体画像についての関連情報を見つけるものである，
    　請求項１から８のうち，いずれか一項に記載の関連情報提供装置。     With respect to all of the pixels constituting the color target image, when the M type signal level of the M color is S 1 , S 2 ,... S M and t1 is t1 = Σ (Si / M), α1 = Σ M level calculation means for calculating [(t1-Si) / (t1-Si)] is further provided,
    The related information detecting means finds related information about an object image including a pixel having the maximum α1.
    The related information provision apparatus as described in any one of Claims 1-8.
  10. 　カラー対象画像を構成する画素のすべてについて，Ｒを赤色信号のレベル，Ｇを緑色信号のレベル，Ｂを青色信号のレベル，ｔ２をｔ2＝（Ｒ＋Ｇ＋Ｂ）／３としたときに，
    α２＝Σ[(t2-R)・(t2-R)]＋Σ[(t2-G)・(t2-G)]＋Σ[(t2-B)・(t2-B)]を算出するＲＧＢレベル算出手段をさらに備え，
    　上記関連情報検出手段は，上記α２が最大である画素が含んでいる物体画像を見つけるものである，
    　請求項１から９のうち，いずれか一項に記載の関連情報提供装置。     For all the pixels constituting the color target image, when R is the level of the red signal, G is the level of the green signal, B is the level of the blue signal, and t2 is t2 = (R + G + B) / 3,
    RGB level calculation to calculate α2 = Σ [(t2-R) · (t2-R)] + Σ [(t2-G) · (t2-G)] + Σ [(t2-B) · (t2-B)] Further comprising means,
    The related information detection means finds an object image included in a pixel having the maximum α2.
    The related information provision apparatus as described in any one of Claims 1-9.
  11. 　上記関連情報検索手段は，
    　上記M種レベル算出手段または上記ＲＧＢレベル算出手段によって算出された値が所定範囲内にある物体画像についての関連情報を最初に見つけるものである，
    　請求項９または１０に記載の関連情報提供装置。     The related information retrieval means is
    The related information about the object image whose value calculated by the M type level calculating means or the RGB level calculating means is within a predetermined range is first found.
    The related information provision apparatus according to claim 9 or 10.
  12. 上記所定範囲は，上記カラー対象画像の撮影シーンに応じて規定されているものである，
    　請求項１１に記載の関連情報提供装置。     The predetermined range is defined according to the shooting scene of the color target image.
    The related information provision apparatus according to claim 11.
  13. 　カラー対象画像を構成する画像の最大濃度がSMAXとされた場合，
    　上記撮影シーンが街中である場合には，３×SMAX以上であり10×SMAX以下のＤ１，14×SMAX以上であり43×SMAX以下のＤ２，
    　上記撮影シーンが海または駅中である場合には，３×SMAX以上であり10×SMAX以下のＤ１，60×SMAX以上であり90×SMAX以下のＤ２，
    　上記撮影シーンがショッピング・モールである場合には，３×SMAX以上であり10×SMAX以下のＤ１，16×SMAX以上であり47×SMAX以下のＤ２，
    　により規定されるＤ１からＤ２までの範囲が上記所定範囲である，
    　請求項１２に記載の関連情報提供装置。     If the maximum density of the images that make up the color target image is SMAX,
    When the shooting scene is in the city, D1, 3 × SMAX or more, 10 × SMAX or less, D1, 14 × SMAX or more, 43 × SMAX or less, D2,
    When the above scene is in the sea or in the station, D1, which is 3 × SMAX or more and 10 × SMAX or less, D1, 60 × SMAX or more and 90 × SMAX or less D2,
    If the shooting scene is a shopping mall, D1, 3 × SMAX or more and 10 × SMAX or less, D1, 16 × SMAX or more, 47 × SMAX or less, D2,
    The range from D1 to D2 defined by is the predetermined range,
    The related information providing apparatus according to claim 12.
  14. 　上記物体画像の種類に応じて，上記所定範囲が規定されている，
    　請求項９から１３のうち，いずれか一項に記載の関連情報提供装置。     The predetermined range is defined according to the type of the object image.
    The related information provision apparatus as described in any one of Claims 9-13.
  15. 　カラー対象画像を構成する画素の最大濃度がSMAXとされた場合，
    　物体画像が自動車である場合には，SMAX以上であり10×SMAX以下のＤ１，75×SMAX以上であり125×SMAX以下のＤ２，
    　物体画像が美術建築物である場合には，0.5×SMAX以上であり42×SMAX以下のＤ１，0.5×SMAX以上であり42×SMAX以下のＤ２（但し，Ｄ１はＤ２以下），
    　物体画像がショッピング・モールである場合には，0.5×SMAX以上であり５×SMAX以下のＤ１，５×SMAX以上であり47×SMAX以下のＤ２，
    　物体画像が動物である場合には，0.5×SMAX以上であり10×SMAX以下のＤ１，20×SMAX以上であり125×SMAX以下のＤ２，
    　により規定されるＤ１からＤ２までの範囲が上記所定範囲である，
    　請求項１４に記載の関連情報提供装置。     If the maximum density of the pixels making up the color target image is SMAX,
    When the object image is an automobile, D1, which is SMAX or more and 10 × SMAX or less, D1, 75 × SMAX or more and 125 × SMAX or less, D2,
    When the object image is an art building, D1, which is 0.5 × SMAX or more and 42 × SMAX or less, D1, 0.5 × SMAX or more and 42 × SMAX or less, D2 (where D1 is D2 or less),
    When the object image is a shopping mall, D1, 0.5 × SMAX or more and 5 × SMAX or less D1, 5 × SMAX or more, 47 × SMAX or less D2,
    When the object image is an animal, D1, which is 0.5 × SMAX or more and 10 × SMAX or less, D1, 20 × SMAX or more and 125 × SMAX or less, D2,
    The range from D1 to D2 defined by is the predetermined range,
    The related information provision apparatus according to claim 14.
  16. 　上記カラー対象画像データ送信手段が，
    　上記M種レベル算出手段または上記ＲＧＢレベル算出手段によって算出された値が所定範囲内にある物体画像を認識し，かつあらかじめ設定された時間が経過したことにより，最初の関連情報が付加された物体画像を含む上記カラー対象画像を表わすカラー対象画像データを，クライアント端末装置に送信することを特徴とする請求項３に記載の関連情報提供システム。     The color target image data transmission means is
    An object to which the first related information is added after recognizing an object image whose value calculated by the M type level calculating means or the RGB level calculating means is within a predetermined range and a preset time has elapsed. 4. The related information providing system according to claim 3, wherein color target image data representing the color target image including an image is transmitted to a client terminal device.
  17. 　上記カラー対象画像の色の割合または彩度を変更する変更手段，ならびに
    　上記変更手段によって彩度が変更させられたカラー対象画像について，上記物体画像検出手段，上記関連情報検索手段，上記関連情報付加手段，上記カラー対象画像データ送信手段，および上記第１の制御手段の処理を行わせる第２の制御手段，
    　をさらに備えた請求項１から１６のうち，いずれか一項に記載の関連情報提供装置。     Change means for changing the color ratio or saturation of the color target image, and for the color target image whose saturation is changed by the change means, the object image detection means, the related information search means, and the related information addition Means, color target image data transmission means, and second control means for performing processing of the first control means,
    The related information provision apparatus according to any one of claims 1 to 16, further comprising:
  18. 　上記変更手段は，ｔ3を実数とした場合，(１＋t3)(S1,S2,・・・SM)－t3×ΣSi（1,1,1,・・・１）／Ｍにもとづいて変更するものである，
    　請求項１７に記載の関連情報提供装置。     The above changing means is based on (1 + t3) (S1, S2,... SM) −t3 × ΣSi (1,1,1,... 1) / M, where t3 is a real number. is there,
    The related information provision apparatus according to claim 17.
  19. 　定数ｋを，上記変更手段によって算出される値または上記所定範囲の下限の値とし，かつSMAXを，カラー対象画像を構成する画素の最大濃度とした場合，上記ｔ３は，0.25×SMAX×√(3/k)以上であり，２×SMAX√(3/k)を満たすものである，
    　請求項１８に記載の関連情報提供装置。     When the constant k is a value calculated by the changing means or the lower limit value of the predetermined range, and SMAX is the maximum density of the pixels constituting the color target image, t3 is 0.25 × SMAX × √ ( 3 / k) or more and satisfy 2 × SMAX√ (3 / k).
    The related information provision apparatus according to claim 18.
  20. 　上記物体画像検出手段は，
    　カラー対象画像の輪郭画像を抽出する輪郭画像抽出手段，
    　上記輪郭画像抽出手段によって抽出された輪郭画像がどのような物体画像を表わすか検出する物体画像検出手段，
    　カラー対象画像の中から所定範囲内の距離d1または彩度または最も高い距離d1または彩度をもつ画素を抽出する画素抽出手段，
    　上記画素抽出手段によって抽出された画素とS1＝S2＝・・・SMで規定される直線とを含む平面を決定する平面決定手段，
    　上記輪郭画像抽出手段によって抽出された輪郭画像内に含まれ，かつ隣接する画素ｉ，ｊについて（Si1-Sj1，Si2-Sj2，・・・SiM－SjM）の規格化ベクトルと，上記平面の法線ベクトルまたは(1,1,・・・１)／√Ｍと，の内積の和を算出する内積和算出手段，
    　上記内積和算出手段によって算出された和を，上記輪郭画像抽出手段によって抽出された輪郭画像の画素数で除算した値を算出する除算手段，および
    　上記除算手段により算出された値が小さい輪郭画像について上記物体画像検出手段によって検出された物体画像を確定する確定手段，
    　を備えている請求項１から１９のうち，いずれか一項に記載の関連情報提供装置。     The object image detecting means includes
    Contour image extraction means for extracting a contour image of a color target image;
    Object image detecting means for detecting what kind of object image the contour image extracted by the contour image extracting means represents;
    A pixel extraction means for extracting a pixel having a distance d1 or saturation within the predetermined range or a pixel having the highest distance d1 or saturation from the color target image;
    Plane determining means for determining a plane including the pixel extracted by the pixel extracting means and a straight line defined by S1 = S2 =... SM;
    Normalized vectors of (Si1-Sj1, Si2-Sj2,... SiM-SjM) for adjacent pixels i and j included in the contour image extracted by the contour image extracting means, and the plane method Inner product sum calculating means for calculating a sum of inner products of a line vector or (1,1,... 1) / √M,
    A dividing unit for calculating a value obtained by dividing the sum calculated by the inner product sum calculating unit by the number of pixels of the contour image extracted by the contour image extracting unit; and a contour image having a small value calculated by the dividing unit Determining means for determining an object image detected by the object image detecting means;
    The related information provision apparatus according to any one of claims 1 to 19, further comprising:
  21. 　上記関連情報検索手段は，
    　上記物体画像検出手段によって検出された複数の物体画像を，複数のグループに分けるグループ分割手段，
    　上記グループ分割手段によって分割された複数のグループのそれぞれにおいて代表距離d1または代表彩度を決定する代表距離d1または代表彩度決定手段を備え，
    　上記代表距離d1または代表彩度決定手段によって決定された代表距離d1または代表彩度の高いグループに含まれる物体画像の順に関連情報を見つけるものである，
    　請求項１から２０のうち，いずれか一項に記載の関連情報提供装置。     The related information retrieval means is
    Group dividing means for dividing a plurality of object images detected by the object image detecting means into a plurality of groups;
    A representative distance d1 or representative saturation determining means for determining a representative distance d1 or representative saturation in each of the plurality of groups divided by the group dividing means;
    Relevant information is found in the order of object images included in the representative distance d1 or representative saturation group determined by the representative distance d1 or representative saturation determination means.
    The related information provision apparatus as described in any one of Claims 1-20.
  22. 　上記カラー対象画像は，Ｎ色が４色によって表わされるものである，
    　請求項１から２１のうち，いずれか一項に記載の関連情報提供装置。     In the color object image, N colors are represented by four colors.
    The related information provision apparatus according to any one of claims 1 to 21.
  23. 　上記４色には，赤，緑および青が含まれている，
    　請求項２２に記載の関連情報提供装置。     The above four colors include red, green and blue.
    The related information providing apparatus according to claim 22.
  24. 　上記４色のスペクトルに関して少なくとも二つのスペクトルの重なりが80％以上である，
    　請求項２２または２３に記載の関連情報提供装置。     The overlap of at least two spectra with respect to the above four color spectra is 80% or more.
    The related information provision apparatus according to claim 22 or 23.
  25. 　上記４色のうち少なくとも二つのスペクトルについて，一方のスペクトルが他方のスペクトルに含まれるものである，
    　請求項２４に記載の関連情報提供装置。     For at least two spectra of the above four colors, one spectrum is included in the other spectrum.
    The related information provision apparatus according to claim 24.
  26. 　上記少なくとも二つのスペクトルのうち一つが緑色である，
    　請求項２４または２５に記載の関連情報提供装置。     One of the at least two spectra is green,
    The related information provision apparatus according to claim 24 or 25.
  27. 　上記関連情報検索手段は，４色のデータの差信号の値にもとづいて決められる関連情報を最初に見つけるものである，
    　請求項２２から２６のうち，いずれか一項に記載の関連情報提供装置。     The related information search means first finds related information determined based on the difference signal values of the four color data.
    The related information provision apparatus according to any one of claims 22 to 26.
  28. 　４色のデータの差信号の算出と上記物体画像検出手段における複数の物体画像の検出とが並行して行われるものである，
    　請求項2７に記載の関連情報提供装置。     The calculation of the difference signal of the four color data and the detection of a plurality of object images in the object image detecting means are performed in parallel.
    The related information providing apparatus according to claim 27.
  29. 　上記カラー対象画像を表わすデータにＩR信号が含まれている，
    　請求項１から2８のうち，いずれか一項に記載の関連情報提供装置。     The IR signal is included in the data representing the color target image.
    The related information provision apparatus according to any one of claims 1 to 28.
  30. 　上記カラー対象画像を表わすデータに紫外線信号が含まれている，
    　請求項１から２９のうち，いずれか一項に記載の関連情報提供装置。     The data representing the color target image includes an ultraviolet signal,
    30. The related information providing apparatus according to any one of claims 1 to 29.
  31. 　上記クライアント端末装置は，
    　上記表示画面に表示された関連情報のうち，アクセス指示が与えられた関連情報についての詳細情報リクエストを詳細情報サーバに送信するリクエスト送信手段，
    　を備えた請求項１から３０のうち，いずれか一項に記載の関連情報提供装置。     The client terminal device
    Request transmission means for transmitting a detailed information request for related information to which an access instruction is given, from the related information displayed on the display screen, to a detailed information server;
    31. The related information providing device according to any one of claims 1 to 30, further comprising:
  32. 　物体画像検出手段が，関連情報が付加されるカラー対象画像であって，Ｎ（Ｎは３以上の整数）色の色データによって表わされるカラー対象画像に含まれる少なくとも一つの物体画像を検出し，
    　関連情報検索手段が，上記物体画像検出手段によって検出された少なくとも一つの物体画像について，Ｎ色の数以下のＭ色の空間座標において原点を通り，かつ傾きが１の基準直線からの距離ｄ１の大きな画素を含む物体画像についての関連情報を見つけ，
    　関連情報付加手段が，上記関連情報検出手段により見つけられた関連情報を，対応する物体画像に付加し，
    　カラー対象画像データ送信手段が，上記関連情報付加手段によって関連情報が付加された物体画像を含む上記カラー対象画像を表わすカラー対象画像データを，クライアント端末装置に送信し，
    　第１の制御手段が，上記関連情報検索手段，上記関連情報付加手段および上記カラー対象画像データ送信手段によるそれぞれの処理を繰り返すように，上記関連情報検索手段，上記関連情報付加手段および上記カラー対象画像データ送信手段を制御する，
    　物体画像の関連情報提供システムの動作制御方法。     An object image detecting means for detecting at least one object image included in the color target image to which the related information is added and represented by color data of N (N is an integer of 3 or more);
    For the at least one object image detected by the object image detecting means, the related information search means has a distance d1 from the reference straight line passing through the origin and having a slope of 1 in the M color space coordinates equal to or less than the number of N colors. Find relevant information about object images containing large pixels,
    The related information adding means adds the related information found by the related information detecting means to the corresponding object image,
    Color target image data transmitting means transmits color target image data representing the color target image including the object image to which the related information is added by the related information adding means to the client terminal device;
    The related information search means, the related information addition means, and the color object so that the first control means repeats the respective processes by the related information search means, the related information addition means, and the color object image data transmission means. Control the image data transmission means,
    An operation control method of an object image related information providing system.
PCT/JP2014/055960 2013-03-28 2014-03-07 Related information providing system and operation control method thereof WO2014156558A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-068198 2013-03-28
JP2013068198A JP2014191700A (en) 2013-03-28 2013-03-28 Associated information provision system and operation control method thereof

Publications (1)

Publication Number Publication Date
WO2014156558A1 true WO2014156558A1 (en) 2014-10-02

Family

ID=51623544

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/055960 WO2014156558A1 (en) 2013-03-28 2014-03-07 Related information providing system and operation control method thereof

Country Status (2)

Country Link
JP (1) JP2014191700A (en)
WO (1) WO2014156558A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102604126B1 (en) * 2023-01-02 2023-11-22 (주) 씨이랩 Subscription-type video analysis system and operation method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209492A (en) * 2005-01-28 2006-08-10 Nippon Telegr & Teleph Corp <Ntt> Object information providing server, object information providing system, method for providing object information, and object information providing program
JP2006268799A (en) * 2005-03-25 2006-10-05 Kitakyushu Foundation For The Advancement Of Industry Science & Technology Image retrieval method, image retrieval device and program
JP2009025867A (en) * 2007-07-17 2009-02-05 Nippon Telegr & Teleph Corp <Ntt> Color information identification device, color information identification method, color information identification program and recording medium storing the program
JP2012133790A (en) * 2005-08-15 2012-07-12 Nant Holdings Ip Llc Use of image-derived information as search criteria for internet and other search engines

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209492A (en) * 2005-01-28 2006-08-10 Nippon Telegr & Teleph Corp <Ntt> Object information providing server, object information providing system, method for providing object information, and object information providing program
JP2006268799A (en) * 2005-03-25 2006-10-05 Kitakyushu Foundation For The Advancement Of Industry Science & Technology Image retrieval method, image retrieval device and program
JP2012133790A (en) * 2005-08-15 2012-07-12 Nant Holdings Ip Llc Use of image-derived information as search criteria for internet and other search engines
JP2009025867A (en) * 2007-07-17 2009-02-05 Nippon Telegr & Teleph Corp <Ntt> Color information identification device, color information identification method, color information identification program and recording medium storing the program

Also Published As

Publication number Publication date
JP2014191700A (en) 2014-10-06

Similar Documents

Publication Publication Date Title
EP3777122B1 (en) Image processing method and apparatus
US9965701B2 (en) Image processing apparatus and method
US9955140B2 (en) Distinguishing foreground and background with inframed imaging
US10186023B2 (en) Unified multi-image fusion approach
KR20190069457A (en) IMAGE BASED VEHICLES LOSS EVALUATION METHOD, DEVICE AND SYSTEM,
KR101725884B1 (en) Automatic processing of images
WO2007064465A1 (en) Detecting objects of interest in digital images
KR20090087670A (en) Method and system for extracting the photographing information
JP2009037585A (en) Method and system for generating immersive sensation for two-dimensional still image, method for dominating factor for generating immersive sensation, image content analysis method, and scaling parameter prediction method
CN111967477A (en) RGB-D image saliency target detection method, device, equipment and storage medium
CN106970709B (en) 3D interaction method and device based on holographic imaging
KR20210059576A (en) Method of processing image based on artificial intelligence and image processing device performing the same
CN110728188A (en) Image processing method, device, system and storage medium
KR101833943B1 (en) Method and system for extracting and searching highlight image
WO2014156558A1 (en) Related information providing system and operation control method thereof
CN111723614A (en) Traffic signal lamp identification method and device
WO2022235785A1 (en) Neural network architecture for image restoration in under-display cameras
EP3246878A1 (en) Method to determine chromatic component of illumination sources of an image
KR101849696B1 (en) Method and apparatus for obtaining informaiton of lighting and material in image modeling system
US11543644B2 (en) Digital imaging device and method for generating a digital color image
JP7291389B2 (en) Object identification method, information processing device, information processing program, and lighting device
CN109215090A (en) For calculating the method, apparatus and server of color difference
KR20210107955A (en) Color stain analyzing method and electronic device using the method
JP2021089654A (en) Image processing apparatus, image processing method, and program
WO2023058233A1 (en) Information processing device, information processing method, information processing system, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14774651

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14774651

Country of ref document: EP

Kind code of ref document: A1