JP5103665B2 - Object tracking device and object tracking method - Google Patents
Object tracking device and object tracking method Download PDFInfo
- Publication number
- JP5103665B2 JP5103665B2 JP2008274694A JP2008274694A JP5103665B2 JP 5103665 B2 JP5103665 B2 JP 5103665B2 JP 2008274694 A JP2008274694 A JP 2008274694A JP 2008274694 A JP2008274694 A JP 2008274694A JP 5103665 B2 JP5103665 B2 JP 5103665B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- circuit
- hue
- saturation
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
この発明は、物体追跡装置および物体追跡方法に関するものである。 The present invention relates to an object tracking device and an object tracking method.
動画像を用いた物体認識は、高度交通システム(ITS:Intelligent Transport System)における危険予測や監視カメラによる被写体追跡などに応用可能であり、近年、盛んに研究が進められている(非特許文献1)。 Object recognition using moving images can be applied to danger prediction in intelligent transport systems (ITS: Intelligent Transport System) and subject tracking by a monitoring camera, and research has been actively conducted in recent years (Non-patent Document 1). ).
画像を用いた物体認識を行なう場合、画像中から物体領域を抽出する前処理が必要になり、背景差分やオプティカルフローをベースとした手法が提案されている。背景差分法は、比較的、簡単に対象領域を抽出できるため、広く用いられているが、背景画像を用意する必要があり、監視カメラ等の環境の変化が少ないアプリケーション以外には、不向きである。 When performing object recognition using an image, preprocessing for extracting an object region from the image is required, and a method based on background difference and optical flow has been proposed. The background subtraction method is widely used because the target area can be extracted relatively easily. However, it is necessary to prepare a background image, and is not suitable for applications other than applications with little environmental change such as surveillance cameras. .
一方、オプティカルフローをベースとした手法は、複数の移動物体を同時に抽出できるが、計算量が多く、照明変化や回転に弱いといった欠点がある。 On the other hand, the method based on the optical flow can extract a plurality of moving objects at the same time, but has a drawback that it requires a large amount of calculation and is vulnerable to illumination change and rotation.
そこで、画像分割による物体の抽出と、フレーム間のオブジェクトマッチングによる抽出領域の追跡手法が提案されている(非特許文献2,3)。
In view of this, methods for extracting an object by image division and tracking an extraction region by object matching between frames have been proposed (Non-Patent
この手法は、静止物体と移動物体の両方を同時に抽出することができる特徴がある。
しかし、非特許文献2,3に記載された物体追跡方法においては、物体領域は、画像分割によって複数の領域に分割され、そのオブジェクト毎に追跡が行われるため、複数のオブジェクトからなる追跡物体を追跡し難いという問題がある。
However, in the object tracking methods described in
そこで、この発明は、かかる問題を解決するためになされたものであり、その目的は、複数の対象物からなる追跡物体を追跡容易な物体追跡装置を提供することである。 Accordingly, the present invention has been made to solve such a problem, and an object of the present invention is to provide an object tracking device that can easily track a tracking object composed of a plurality of objects.
また、この発明の別の目的は、複数の対象物からなる追跡物体を追跡容易な物体追跡方法を提供することである。 Another object of the present invention is to provide an object tracking method that can easily track a tracking object composed of a plurality of objects.
この発明によれば、物体追跡装置は、複数のフレーム画像により構成される動画像内の物体を追跡する物体追跡装置であって、画像分割ユニットと、追跡ユニットとを備える。画像分割ユニットは、動画像を構成する個々のフレームに含まれる画像内の物体の画像特徴に基づいて分割画像領域を生成する。追跡ユニットは、画像分割ユニットによって生成された分割画像領域に基づいて物体を追跡する。そして、追跡ユニットは、追跡物体認識部と、グループ化部とを含む。追跡物体認識部は、画像分割ユニットによって生成された複数の分割画像領域を静止物体を示す複数の静止物体画像領域と移動物体を示す複数の移動物体画像領域とに分類する。グループ化部は、追跡物体認識部によって分類された移動物体画像領域を所定の類似性に基づいてグループ化する。 According to the present invention, the object tracking device is an object tracking device that tracks an object in a moving image composed of a plurality of frame images, and includes an image dividing unit and a tracking unit. The image segmentation unit generates a segmented image region based on the image feature of the object in the image included in each frame constituting the moving image. The tracking unit tracks the object based on the divided image area generated by the image dividing unit. The tracking unit includes a tracking object recognition unit and a grouping unit. The tracking object recognition unit classifies the plurality of divided image areas generated by the image dividing unit into a plurality of still object image areas indicating a stationary object and a plurality of moving object image areas indicating a moving object. The grouping unit groups the moving object image regions classified by the tracking object recognition unit based on a predetermined similarity.
好ましくは、追跡物体認識部は、分割画像領域が属するフレームとフレームの前または後のフレームとにおける分割画像領域の動きベクトルに基づいて、複数の分割画像領域を複数の静止物体画像領域と複数の移動物体画像領域とに分類する。 Preferably, the tracking object recognition unit converts the plurality of divided image regions into the plurality of still object image regions and the plurality of still image regions based on the motion vectors of the divided image regions in the frame to which the divided image region belongs and the frame before or after the frame. The moving object image area is classified.
好ましくは、グループ化部は、連続したフレームにおいて、グループ化した移動物体画像を一意に特定するグループ情報を生成する。 Preferably, the grouping unit generates group information for uniquely specifying the grouped moving object images in consecutive frames.
また、この発明によれば、物体追跡方法は、複数のフレーム画像により構成される動画像内の物体を追跡する物体追跡方法であって、動画像を構成する個々のフレームに含まれる画像内の物体の画像特徴に基づいて分割画像領域を生成する第1のステップと、第1のステップにおいて生成された複数の分割画像領域を静止物体を示す複数の静止物体画像領域と移動物体を示す複数の移動物体画像領域とに分類する第2のステップと、第2のステップにおいて分類された移動物体画像領域を所定の類似性に基づいてグループ化する第3のステップとを備える。 Further, according to the present invention, an object tracking method is an object tracking method for tracking an object in a moving image composed of a plurality of frame images, wherein the object tracking method includes an image in an image included in each frame constituting the moving image. A first step of generating a divided image region based on an image feature of the object, a plurality of divided image regions generated in the first step, a plurality of still object image regions indicating a stationary object, and a plurality of moving object indicating A second step of classifying the moving object image regions into moving object image regions; and a third step of grouping the moving object image regions classified in the second step based on a predetermined similarity.
好ましくは、第2のステップにおいて、複数の分割画像領域は、分割画像領域が属するフレームとフレームの前または後のフレームとにおける分割画像領域の動きベクトルに基づいて、複数の静止物体画像領域と複数の移動物体画像領域とに分類される。 Preferably, in the second step, the plurality of divided image regions include a plurality of still object image regions and a plurality of divided object regions based on motion vectors of the divided image regions in a frame to which the divided image region belongs and a frame before or after the frame. And the moving object image region.
好ましくは、第3のステップにおいて、グループ化された移動物体画像を一意に特定するグループ情報が連続したフレームにおいて生成される。 Preferably, in the third step, group information for uniquely specifying the grouped moving object images is generated in consecutive frames.
好ましくは、グループ化するときにバウンディングボックスが用いられ、そのバウンディングボックスには、マージンが加えられる。 Preferably, a bounding box is used when grouping, and a margin is added to the bounding box.
この発明においては、1つのフレームからなる入力画像が1つのフレームに含まれる複数の対象物の画像に分割され、その分割された複数の分割画像に基づいて、複数の対象物のうち、相互に類似する対象物が1つのグループにグループ化され、追跡物体が認識される。つまり、入力画像が1つのフレームに含まれる複数の対象物の画像に分割され、追跡物体が細分化されていたとしても、グループ化された追跡物体が認識される。 In the present invention, an input image consisting of one frame is divided into images of a plurality of objects included in one frame, and among the plurality of objects based on the divided plurality of divided images, Similar objects are grouped into a group and the tracking object is recognized. That is, even when the input image is divided into a plurality of target images included in one frame and the tracking object is subdivided, the grouped tracking objects are recognized.
したがって、この発明によれば、複数の対象物からなる追跡物体を容易に追跡できる。 Therefore, according to the present invention, it is possible to easily track a tracking object composed of a plurality of objects.
本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。 Embodiments of the present invention will be described in detail with reference to the drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals and description thereof will not be repeated.
図1は、この発明の実施の形態による物体追跡装置の構成を示す概略ブロック図である。図1を参照して、この発明の実施の形態による物体追跡装置10は、画像分割ユニット1と、追跡ユニット2とを備える。
FIG. 1 is a schematic block diagram showing a configuration of an object tracking apparatus according to an embodiment of the present invention. Referring to FIG. 1, an
画像分割ユニット1は、1フレームの入力画像を外部から受け、その受けた入力画像の各画素におけるRGB値、色相および彩度を用いて、後述する方法によって入力画像を入力画像に含まれる複数の対象物の画像に分割し、その分割した複数の分割画像を追跡ユニット2へ出力する分割処理を各フレームについて実行する。
The
追跡ユニット2は、各フレームにおける複数の分割画像を画像分割ユニット1から受けると、その受けた複数の分割画像に基づいて、後述する方法によって、各追跡物体を構成する対象物をグループ化し、そのグループ化した対象物を隣接フレーム間でマッチングさせて各追跡物体を追跡する。
When the
画像分割ユニット1は、画素値検出回路11と、結合重み決定回路12と、画像分割回路13とを含む。
The
画素値検出回路11は、1フレームの入力画像を受け、その受けた入力画像の各画素のR成分、G成分およびB成分を検出し、その検出したR成分、G成分およびB成分をRGB値として結合重み決定回路12へ出力する。
The pixel
結合重み決定回路12は、画素値検出回路1からRGB値を受け、その受けたRGB値に基づいて、後述する方法によって、1つのフレームを構成する複数の画素における各画素間の結合重みを決定し、その決定した結合重みを画像分割回路13へ出力する。
The connection
画像分割回路13は、外部から入力画像を受け、結合重み決定回路12から結合重みを受ける。そして、画像分割回路13は、その受けた結合重みを用いて、領域成長型画像分割方法によって、1つのフレームからなる入力画像を各対象物の画像に分割する。この領域成長型画像分割方法は、たとえば、3×3の画素からリーダセルを決定し、その決定したリーダセルの領域から相対的に大きい結合重みを有する周囲の画素の領域へ領域を成長させて行く処理をリーダセルが存在しなくなるまで繰り返して画像を分割する方法である。そして、画像分割回路13は、その分割した複数の分割画像を追跡ユニット2へ出力する。
The
なお、この発明の実施の形態においては、オブジェクトとは、対象物、追跡物体を含める広義の物体を意味する。 In the embodiment of the present invention, an object means a broad object including a target object and a tracking object.
図2は、図1に示す結合重み決定回路12の構成を示す概略図である。図2を参照して、結合重み決定回路12は、Dラッチ回路121,122,124,126,127,129と、FIFO回路123,128と、HS変換回路125と、選択器130,131と、重み計算ユニット132〜135とを含む。
FIG. 2 is a schematic diagram showing the configuration of the connection
Dラッチ回路121は、画素値検出回路11からRGB値を受け、その受けたRGB値をラッチし、そのラッチしたRGB値をDラッチ回路122、重み計算ユニット133,135へ出力する。
The
Dラッチ回路122は、Dラッチ回路121からRGB値を受け、その受けたRGB値をラッチし、そのラッチしたRGB値をFIFO回路123、重み計算ユニット132および選択器130,131へ出力する。
The
FIFO回路123は、Dラッチ回路122からRGB値を受け、その受けたRGB値を1クロック分、保持し、その後、RGB値をDラッチ回路124、重み計算ユニット132および選択器130,131へ出力する。
The
Dラッチ回路124は、FIFO回路123から受けたRGB値をラッチし、そのラッチしたRGB値を重み計算ユニット133,134へ出力する。
The
HS変換回路125は、画素値検出回路11からRGB値を受け、その受けたRGB値を、後述する方法によって、色相および彩度に変換する。そして、HS変換回路125は、その変換した色相および彩度をDラッチ回路126へ出力する。
The
Dラッチ回路126は、色相および彩度をHS変換回路125から受け、その受けた色相および彩度をラッチし、そのラッチした色相および彩度をDラッチ回路127および重み計算ユニット133,135へ出力する。
The
Dラッチ回路127は、色相および彩度をDラッチ回路126から受け、その受けた色相および彩度をラッチし、そのラッチした色相および彩度をFIFO回路128、重み計算ユニット132および選択器130,131へ出力する。
The
FIFO回路128は、色相および彩度をDラッチ回路127から受け、その受けた色相および彩度を1クロック分、保持し、その後、色相および彩度をDラッチ回路129、重み計算ユニット132および選択器130,131へ出力する。
The
Dラッチ回路129は、色相および彩度をFIFO回路128から受け、その受けた色相および彩度をラッチし、そのラッチした色相および彩度を重み計算ユニット133,134へ出力する。
The
選択器130は、外部から制御信号CTLを受け、Dラッチ回路122およびFIFO回路123からRGB値を受け、Dラッチ回路127およびFIFO回路128から色相および彩度を受ける。制御信号CTLは、選択器130,131の0端子に入力されたRGB値、色相および彩度を選択するための制御信号CTL0と、選択器130,131の1端子に入力されたRGB値、色相および彩度を選択するための制御信号CTL1とのいずれかからなる。そして、選択器130は、制御信号CTL0を受けると、FIFO回路123から受けたRGB値と、FIFO回路128から受けた色相および彩度とを選択して重み計算ユニット134へ出力し、制御信号CTL1を受けると、Dラッチ回路122から受けたRGB値と、Dラッチ回路127から受けた色相および彩度とを選択して重み計算ユニット134へ出力する。
The
選択器131は、外部から制御信号CTLを受け、Dラッチ回路122およびFIFO回路123からRGB値を受け、Dラッチ回路127およびFIFO回路128から色相および彩度を受ける。そして、選択器131は、制御信号CTL0を受けると、Dラッチ回路122から受けたRGB値と、Dラッチ回路127から受けた色相および彩度とを選択して重み計算ユニット135へ出力し、制御信号CTL1を受けると、FIFO回路123から受けたRGB値と、FIFO回路128から受けた色相および彩度とを選択して重み計算ユニット135へ出力する。
The
重み計算ユニット132は、Dラッチ回路122およびFIFO回路123からRGB値を受け、Dラッチ回路127およびFIFO回路128から色相および彩度を受ける。そして、重み計算ユニット132は、Dラッチ回路122から受けたRGB値とDラッチ回路127から受けた色相および彩度とを1つの画素GE3に対応するRGB値、色相および彩度(RGB3,HS3)とし、FIFO回路123から受けたRGB値と、FIFO回路128から受けた色相および彩度とを別の1つの画素GE2に対応するRGB値、色相および彩度(RGB2,HS2)とする。そうすると、重み計算ユニット132は、RGB値、色相および彩度(RGB3,HS3)と、RGB値、色相および彩度(RGB2,HS2)とに基づいて、後述する方法によって、画素GE2と画素GE3との間の結合重みを演算し、その演算した結合重みを画像分割回路13へ出力する。
The
重み計算ユニット133は、Dラッチ回路121,124からRGB値を受け、Dラッチ回路126,129から色相および彩度を受ける。そして、重み計算ユニット133は、Dラッチ回路121から受けたRGB値とDラッチ回路126から受けた色相および彩度とを1つの画素GE4に対応するRGB値、色相および彩度(RGB4,HS4)とし、Dラッチ回路124から受けたRGB値と、Dラッチ回路129から受けた色相および彩度とを別の1つの画素GE1に対応するRGB値、色相および彩度(RGB1,HS1)とする。そうすると、重み計算ユニット133は、RGB値、色相および彩度(RGB4,HS4)と、RGB値、色相および彩度(RGB1,HS1)とに基づいて、後述する方法によって、画素GE1と画素GE4との間の結合重みを演算し、その演算した結合重みを画像分割回路13へ出力する。
The
重み計算ユニット134は、Dラッチ回路124からRGB値を受け、Dラッチ回路129から色相および彩度を受け、選択器130からRGB値、色相および彩度を受ける。そして、重み計算ユニット134は、Dラッチ回路124から受けたRGB値とDラッチ回路129から受けた色相および彩度とを1つの画素GE1に対応するRGB値、色相および彩度(RGB1,HS1)とし、選択器130から受けたRGB値、色相および彩度を別の1つの画素GE2に対応するRGB値、色相および彩度(RGB2,HS2)とする。そうすると、重み計算ユニット134は、RGB値、色相および彩度(RGB1,HS1)と、RGB値、色相および彩度(RGB2,HS2)とに基づいて、後述する方法によって、画素GE1と画素GE2との間の結合重みを演算し、その演算した結合重みを画像分割回路13へ出力する。
The
重み計算ユニット135は、Dラッチ回路121からRGB値を受け、Dラッチ回路126から色相および彩度を受け、選択器131からRGB値、色相および彩度を受ける。そして、重み計算ユニット135は、Dラッチ回路121から受けたRGB値とDラッチ回路126から受けた色相および彩度とを1つの画素GE4に対応するRGB値、色相および彩度(RGB4,HS4)とし、選択器131から受けたRGB値、色相および彩度を別の1つの画素GE3に対応するRGB値、色相および彩度(RGB3,HS3)とする。そうすると、重み計算ユニット135は、RGB値、色相および彩度(RGB4,HS4)と、RGB値、色相および彩度(RGB3,HS3)とに基づいて、後述する方法によって、画素GE3と画素GE4との間の結合重みを演算し、その演算した結合重みを画像分割回路13へ出力する。
The
なお、重み計算ユニット134は、選択器130から画素GE3に対応するRGB値、色相および彩度(RGB3,HS3)を受けるとき、画素GE1と画素GE3との間の結合重みを演算し、その演算した結合重みを画像分割回路13へ出力し、重み計算ユニット135は、選択器131から画素GE2に対応するRGB値、色相および彩度(RGB2,HS2)を受けるとき、画素GE2と画素GE4との間の結合重みを演算し、その演算した結合重みを画像分割回路13へ出力する。
When the
図3は、図2に示す結合重み決定回路12が結合重みを決定するときの概念図である。また、図4は、図2に示す結合重み決定回路12が結合重みを決定するときの他の概念図である。
FIG. 3 is a conceptual diagram when the connection
結合重み決定回路12は、2行2列に配列された画素GE1〜GE4における結合重みを1サイクルで決定する。画素GE1〜GE4におけるRGB値RGB1〜RGB4が結合重み決定回路12へ順次入力されると、重み計算ユニット132は、FIFO回路123から画素GE2のRGB値RGB2を受け、FIFO回路128から画素GE2の色相および彩度HS2を受け、Dラッチ回路122から画素GE3のRGB値RGB3を受け、Dラッチ回路127から画素GE3の色相および彩度HS3を受ける。
The connection
また、重み計算ユニット133は、Dラッチ回路124から画素GE1のRGB値RGB1を受け、Dラッチ回路129から画素GE1の色相および彩度HS1を受け、Dラッチ回路121から画素GE4のRGB値RGB4を受け、Dラッチ回路126から画素GE4の色相および彩度HS4を受ける。
The
さらに、重み計算ユニット134は、Dラッチ回路124から画素GE1のRGB値RGB1を受け、Dラッチ回路129から画素GE1の色相および彩度HS1を受け、選択器130から画素GE2のRGB値RGB2と、画素GE2の色相および彩度HS2とを受ける。
Further, the
さらに、重み計算ユニット135は、Dラッチ回路121から画素GE4のRGB値RGB4を受け、Dラッチ回路126から画素GE4の色相および彩度HS4を受け、選択器131から画素GE3のRGB値RGB3と、画素GE3の色相および彩度HS3とを受ける。
Further, the
すなわち、重み計算ユニット132〜135は、同期して、それぞれ、画素GE2,GE3のRGB値、色相および彩度、画素GE1,GE4のRGB値、色相および彩度、画素GE1,GE2のRGB値、色相および彩度、および画素GE3,GE4のRGB値、色相および彩度を受ける。そして、重み計算ユニット132は、画素GE2と画素GE3との結合重みを決定して出力し、重み計算ユニット133は、画素GE1と画素GE4との結合重みを決定して出力し、重み計算ユニット134は、画素GE1と画素GE2との結合重みを決定して出力し、重み計算ユニット135は、画素GE3と画素GE4との結合重みを決定して出力する。
That is, the
つまり、重み計算ユニット132〜135は、図3に示す4個の結合重みを1サイクルで決定して出力する。
That is, the
なお、選択器130が画素GE3のRGB値RGB3と色相および彩度HS3とを選択し、選択器131が画素GE2のRGB値RGB2と色相および彩度HS2とを選択した場合、重み計算ユニット132〜135は、図4に示す4個の結合重みを1サイクルで決定して出力する。
When the
このように、結合重み決定回路12は、2行2列に配列された4個の画素のRGB値、色相および彩度を用いて、1サイクルで2行2列に配列された4個の画素間における4個の結合重みを決定する。
As described above, the connection
上述したように、結合重み決定回路3は、各画素のRGB値、色相および彩度を用いて2つの画素間の結合重みを決定するが、以下、その理由について説明する。
As described above, the connection
この発明においては、画素間の結合重みを決定するために、RGB値のみならず、色相および彩度を用いるために、RGB色空間に加え、色相(H:Hue)、彩度(S:Saturation)および明度(V:Value)からなるHSV色空間を導入する。 In the present invention, not only RGB values but also hue and saturation are used in order to determine the connection weight between pixels, in addition to the RGB color space, hue (H: Hue), saturation (S: Saturation). ) And brightness (V: Value).
ここで、色相(H)は、R,G,Bなどの色の種類を表す要素である。また、彩度(S)は、色の鮮やかさを表す要素であり、無彩色(黒―灰色―白)では、“0”となる。さらに、明度(V)は、明るさを表す要素である。 Here, the hue (H) is an element representing the type of color such as R, G, and B. The saturation (S) is an element representing the vividness of the color, and is “0” for an achromatic color (black-gray-white). Further, brightness (V) is an element representing brightness.
図5は、HSV色空間の概念図である。図5を参照して、HSV色空間は、円錐形状からなる。そして、色相(H)は、円錐形状の底面における円環CRCに描かれ、0度〜360度の範囲で表される。そして、図5においては、赤を基準(0度)とした色相を表しており、RGB色空間における赤(255,0,0)、緑(0,255,0)および青(0,0,255)は、それぞれ、色相0度、色相120度および色相240度に対応する。 FIG. 5 is a conceptual diagram of the HSV color space. Referring to FIG. 5, the HSV color space has a conical shape. The hue (H) is drawn on an annular CRC at the bottom of the conical shape, and is represented in the range of 0 to 360 degrees. FIG. 5 shows a hue with red as a reference (0 degree), and red (255, 0, 0), green (0, 255, 0), and blue (0, 0, 0) in the RGB color space. 255) corresponds to a hue of 0 degrees, a hue of 120 degrees, and a hue of 240 degrees, respectively.
彩度(S)は、円錐の円形の半径として表され、0〜1の範囲の値を取る。また、明度(V)は、円錐の頂点からの距離として表され、0〜1の範囲の値を取る。 Saturation (S) is expressed as the circular radius of the cone and takes a value in the range of 0-1. The lightness (V) is expressed as a distance from the apex of the cone, and takes a value in the range of 0-1.
図5から解るように、無彩色は、色相(H)および彩度(S)を持たない。 As can be seen from FIG. 5, the achromatic color has no hue (H) and no saturation (S).
RGB値から色相(H)への変換には、次式が用いられる。 The following formula is used for conversion from RGB values to hue (H).
なお、式(1)において、MAXは、R値、G値およびB値の最大値を表し、MINは、R値、G値およびB値の最小値を表す。 In Expression (1), MAX represents the maximum value of the R value, G value, and B value, and MIN represents the minimum value of the R value, G value, and B value.
MAX=MINであるとき、色相(H)は、定義されない。これは、R値、G値およびB値が全て等しいときであり、無彩色を表すため、円錐の中央のグレーの直線の周囲にあるため、その時のHue値は、意味を持たないからである。 When MAX = MIN, the hue (H) is not defined. This is when the R value, the G value, and the B value are all equal, and because it represents an achromatic color and is around the gray straight line at the center of the cone, the Hue value at that time has no meaning. .
RGB値から彩度(S)への変換には、次式が用いられる。 The following formula is used for conversion from RGB values to saturation (S).
なお、MAX=0であるとき、彩度(S)は、未定義となる。これは、MAX=0であるときの色は、完全な黒を表すため、色相も彩度も存在しないからである。 Note that when MAX = 0, the saturation (S) is undefined. This is because the color when MAX = 0 represents perfect black, so there is no hue or saturation.
RGB値から明度(V)への変換には、次式が用いられる。 The following equation is used for conversion from RGB values to lightness (V).
引き続いて、色相(Hue)および彩度(Saturation)による画像評価について説明する。図6は、色相および彩度による画像評価に用いた画像を示す図である。また、図7は、色相および彩度による画像評価に用いた他の画像を示す図である。 Subsequently, image evaluation based on hue (Hue) and saturation (Saturation) will be described. FIG. 6 is a diagram illustrating an image used for image evaluation based on hue and saturation. FIG. 7 is a diagram showing another image used for image evaluation based on hue and saturation.
図6は、コントラストが低い領域を含む画像を示し、図7は、外乱的な反射を含む画像を示す。 FIG. 6 shows an image including an area with low contrast, and FIG. 7 shows an image including disturbance reflection.
図8は、図6に示す領域Xの分割結果および図7に示す領域Yの分割結果を示す図である。また、図9は、従来の画像分割における問題を説明するための図である。 FIG. 8 is a diagram showing a result of dividing the region X shown in FIG. 6 and a result of dividing the region Y shown in FIG. FIG. 9 is a diagram for explaining a problem in the conventional image division.
従来の画像分割においては、2つの画素間の結合重みWij;klは、各画素のRGB値のみを用いて次の式(4),(5)によって演算される。 In the conventional image division, the connection weight W ij; kl between two pixels is calculated by the following equations (4) and (5) using only the RGB value of each pixel.
すなわち、従来の画像分割方法は、隣接画素間のRGB値の差から結合重みと定義される画素間の類似度を求め、その求めた類似度を指標として領域を成長させていく。結合重みWij;klは、式(4)を用いて赤、緑および青に対して演算された3個の結合重みを式(5)に代入して、赤、緑および青に対する3個の結合重みのうち、最も小さいものを画素間の結合重みWij;klとして決定する。 That is, in the conventional image segmentation method, a similarity between pixels defined as a connection weight is obtained from a difference in RGB values between adjacent pixels, and a region is grown using the obtained similarity as an index. The connection weight W ij; kl is obtained by substituting the three connection weights calculated for red, green, and blue using the equation (4) into the equation (5) to obtain the three weights for red, green, and blue. Among the connection weights, the smallest one is determined as a connection weight W ij; kl between pixels.
したがって、図9に示すように、たとえば、(R,G,B)=(250,0,0)と、(R,G,B)=(125,0,0)との結合重みと、(R,G,B)=(250,0,0)と、(R,G,B)=(125,125,125)との結合重みとは、無彩色と有彩色との関係にありながら、同じ値となり、RGB色空間を用いた結合重みでは、画素の色合いを考慮していない。 Therefore, as shown in FIG. 9, for example, the connection weights of (R, G, B) = (250, 0, 0) and (R, G, B) = (125, 0, 0) R, G, B) = (250, 0, 0) and (R, G, B) = (125, 125, 125) are connected to each other with an achromatic color and a chromatic color, The combination weights using the RGB color space do not consider the color of the pixel.
また、図9の(a)は、グラデーション変化を持つ領域を画素単位で示したものと、横軸をx軸、縦軸を結合重みに取ったときのグラデーション領域の結合重みの変化をグラフとして表した図である。 FIG. 9A is a graph showing an area having gradation change in units of pixels and a change in the combination weight of the gradation area when the horizontal axis is the x-axis and the vertical axis is the combination weight. FIG.
グラデーション変化のある領域では、画素間のRGB値の差が等しいため、結合重みも等しくなっている。仮に、近傍画素の結合重みが領域成長に用いるしきい値φz以上であれば、領域は、矢印の方向に広がり続けてしまう。 In an area where there is a gradation change, since the RGB value difference between pixels is equal, the connection weights are also equal. If the connection weight of neighboring pixels is equal to or greater than the threshold value φz used for region growth, the region continues to expand in the direction of the arrow.
しかし、図9の(a)に示すグラデーションに関する問題に対しては、どこまでを同一領域として扱うかは、アプリケーションに依存する面が強く、しきい値を一意に決定することは難しい。 However, with respect to the problem relating to the gradation shown in FIG. 9A, how much is treated as the same region is highly dependent on the application, and it is difficult to uniquely determine the threshold value.
図6に示すサンプル画像は、コントラストが低く、机と人間の重なりにより境界に陰が生じ、机領域と人物領域との間に明確なエッジが現れず、色が2つの領域間で滑らかに変化する(グラデーション)画像である。そのため、従来のRGB色空間による結合重みを利用する画像分割法では、机と人物との分割が難しい(図8参照)。 The sample image shown in FIG. 6 has a low contrast, a shadow is generated at the boundary due to the overlap between the desk and the human, a clear edge does not appear between the desk area and the person area, and the color smoothly changes between the two areas. This is a gradation image. For this reason, it is difficult to divide a desk and a person using the conventional image division method using the connection weights in the RGB color space (see FIG. 8).
また、図7に示すサンプル画像では、反射が原因でカラーが変化し、ボディー領域の成長が進まずに、複数の領域に分かれたり、未分割領域として残ってしまう(図8参照)。 Further, in the sample image shown in FIG. 7, the color changes due to reflection, and the body region does not progress, but is divided into a plurality of regions or remains as undivided regions (see FIG. 8).
これらの結果から、画像分割精度を向上させるためには、RGB色空間による明度を用いた方法に加えて、黒い、赤い、青いと言った色合いを考慮することが必要である。色合いを考慮すれば、図6に示すサンプル画像であれば、人物は、黒(無彩色)であり、机は、茶色であり、2つの領域の分離が可能である。また、図7に示すサンプル画像であれば、車は、赤色(有彩色)の領域として抽出可能である。 From these results, in order to improve the image division accuracy, it is necessary to consider shades such as black, red, and blue in addition to the method using the brightness by the RGB color space. In consideration of the hue, in the sample image shown in FIG. 6, the person is black (achromatic color), the desk is brown, and the two regions can be separated. In the case of the sample image shown in FIG. 7, the car can be extracted as a red (chromatic) region.
そこで、色相(Hue)および彩度(Saturation)による画像評価について説明する。 Therefore, image evaluation based on hue (Hue) and saturation (Saturation) will be described.
まず、色相(Hue)による画像評価について説明する。図10は、図6に示すサンプル画像のRGB値から式(1)を用いてHue値に変換した値(0〜360度)を256階調に正規化して8ビットグレー画像とした図である。また、図11は、図7に示すサンプル画像のRGB値から式(1)を用いてHue値に変換した値(0〜360度)を256階調に正規化して8ビットグレー画像とした図である。 First, image evaluation based on hue (Hue) will be described. FIG. 10 is a diagram in which a value (0 to 360 degrees) converted from the RGB value of the sample image shown in FIG. 6 to the Hue value using Expression (1) is normalized to 256 gradations to obtain an 8-bit gray image. . FIG. 11 is a diagram showing an 8-bit gray image obtained by normalizing values (0 to 360 degrees) converted from RGB values of the sample image shown in FIG. 7 into Hue values using Equation (1) to 256 gradations. It is.
なお、図10および図11においては、図6および図7に示す2つのサンプル画像の場合、緑および青といったHue値が高い画素値が存在しないため、無彩色を最大値の255(白)で表している。 In FIGS. 10 and 11, in the case of the two sample images shown in FIGS. 6 and 7, there is no pixel value with a high Hue value such as green and blue, so the achromatic color is set to the maximum value 255 (white). Represents.
図10および図11を参照して、人間と机の境界、および道路と車両の境界がはっきりと区別できていることが解るが、背景や人間の領域にノイズ画素が目立つ。このHue画像の画像分割への適用を想定した場合、ノイズ画素による分割精度への影響が予想される。 10 and 11, it can be seen that the boundary between the person and the desk and the boundary between the road and the vehicle can be clearly distinguished, but noise pixels are conspicuous in the background and the human area. Assuming that this Hue image is applied to image division, it is expected that noise pixels will affect the division accuracy.
そこで、ノイズ画素の低減のために、次の方法を採用した。式(1)から解るように、厳密には、MAX−MIN=0のときのみ、無彩色として扱われるが、人間は、実際、目視により色を認識する場合、MAX−MIN=0を正確に満たしていなくても無彩色として画素を認識する。そのため、ノイズ画素を除去するために、パラメータDMAX−MINを設定した。 Therefore, the following method was adopted to reduce noise pixels. Strictly speaking, as can be seen from equation (1), only when MAX-MIN = 0, it is treated as an achromatic color. However, when humans actually recognize a color visually, MAX-MIN = 0 is accurately set. Even if not satisfied, the pixel is recognized as an achromatic color. Therefore, the parameter D MAX-MIN is set in order to remove noise pixels.
図10および図11におけるDMAX−MINは、DMAX−MIN=MAX−MINを表し、DMAX−MINより誤差の小さい画素を無彩色(白−灰色−黒)と見なすことにする。DMAX−MIN値を“0”から“5”づつ増加させていったときの画像への影響について評価した結果が図10および図11に示す結果である。 D MAX-MIN in FIGS. 10 and 11 represents D MAX-MIN = MAX-MIN, and a pixel having a smaller error than D MAX-MIN is regarded as an achromatic color (white-gray-black). The results of evaluating the influence on the image when the D MAX-MIN value is increased by “5” from “0” are the results shown in FIGS.
DMAX−MIN値を大きくしていくと、無彩色は、取り除かれていき、カラー領域(有彩色領域)とグレー領域(無彩色領域)とをある程度分離できることがわかった。これは、グレー領域とカラー領域との識別におけるロバスト性が向上したからである。また、カラー領域同士も、Hue値の差によって識別できる。 It was found that as the D MAX-MIN value is increased, the achromatic color is removed, and the color area (chromatic color area) and the gray area (achromatic color area) can be separated to some extent. This is because the robustness in distinguishing between the gray area and the color area is improved. Also, the color areas can be identified by the difference in Hue values.
次に、彩度(Saturation)による画像評価について説明する。図12は、図6に示すサンプル画像のRGB値から式(2)を用いてS値に変換した値(0〜1の範囲)を256階調に規格化して8ビットグレー画像とした図である。また、図13は、図7に示すサンプル画像のRGB値から式(2)を用いてS値に変換した値(0〜1の範囲)を256階調に規格化して8ビットグレー画像とした図である。
Next, image evaluation based on saturation will be described. FIG. 12 is a diagram in which a value (
彩度の場合、MAX−MIN=0またはMAX=0のときのみ、無彩色として扱っているため、道路の領域なども彩度を持っている。 In the case of saturation, since it is treated as an achromatic color only when MAX-MIN = 0 or MAX = 0, the road area has saturation as well.
そこで、図5から解るように、彩度(S)が低い領域は、色相(H)による色の識別が非常に困難であることに注目し、各画素の彩度(S)の値を基準として、無彩色領域と有彩色領域とを2値化することを考える。 Therefore, as can be seen from FIG. 5, attention is paid to the fact that it is very difficult to identify the color by the hue (H) in the region where the saturation (S) is low, and the saturation (S) value of each pixel is used as a reference. Assuming that the achromatic color region and the chromatic color region are binarized.
図12および図13は、しきい値としての彩度(S)を0から0.2まで0.04刻みで変化させたときの画像への影響を示す。そして、図12および図13に示す画像は、しきい値よりも小さい彩度(S)を持つ画素を白(255)、しきい値以上の彩度を持つ画素を黒(0)として2値化した画像である。 12 and 13 show the influence on the image when the saturation (S) as the threshold value is changed from 0 to 0.2 in increments of 0.04. The images shown in FIGS. 12 and 13 are binary with a pixel having a saturation (S) smaller than the threshold value as white (255) and a pixel having a saturation greater than the threshold value as black (0). This is a converted image.
図12および図13を参照して、彩度(S)値が0.2よりも小さい画素を無彩色、彩度(S)値が0.2以上である画素を有彩色として扱うことにより、無彩色領域と有彩色領域との識別に関して良い結果が得られた。他のサンプル画像に対しても評価を行なったが、彩度のしきい値を0.2付近に設定すると、良い結果が得られた。 With reference to FIG. 12 and FIG. 13, by treating a pixel with a saturation (S) value smaller than 0.2 as an achromatic color and a pixel with a saturation (S) value of 0.2 or more as a chromatic color, Good results were obtained regarding the discrimination between achromatic and chromatic areas. Other sample images were also evaluated, but good results were obtained when the saturation threshold was set near 0.2.
上述したように、HSV色空間について検討した結果、RGB色空間では、画像分割が難しかった画像(たとえば、図6に示す人と机の分離、および図7に示す車のボディー部分の抽出)に対して、HSV色空間を用いることによって、有彩色領域と、人間の目から見て無彩色に近い色とを分離したり、色合いは同じでも光の当たり具合で明度や彩度に違いが生じる領域を同一領域として分割できることが解った。 As described above, as a result of examining the HSV color space, it is difficult to divide the image in the RGB color space (for example, separation of a person and a desk shown in FIG. 6 and extraction of a car body part shown in FIG. 7). On the other hand, by using the HSV color space, a chromatic color region and a color close to an achromatic color as seen from the human eye are separated, or a difference in brightness and saturation occurs depending on the degree of light even though the hue is the same. It was found that the area can be divided as the same area.
しかし、HSV色空間は、無彩色領域の画像分割には適していない。それは、図5から解るように、彩度が低くなると、色合いを殆ど識別することができず、Hue値が意味を持たなくなるからである。 However, the HSV color space is not suitable for image division of an achromatic region. This is because, as can be seen from FIG. 5, when the saturation is low, the hue can hardly be identified, and the Hue value has no meaning.
そこで、この発明においては、RGB値と、HSV値との両方の色空間を用いて、画素間の結合重みを決定し、それぞれの色空間が苦手とする色領域をお互いが補うことにしたのである。 Therefore, in the present invention, the color weights between the pixels are determined using both RGB value and HSV value color spaces, and the color regions that each color space is not good at complement each other. is there.
そして、結合重み決定回路12がRGB値、色相および彩度を用いて結合重みを決定する場合、HS変換回路125は、一般的には、式(1)および式(2)を用いて、RGB値を色相(H)および彩度(S)に変換する。
When the connection
しかし、式(1)および式(2)を用いてRGB値を色相(H)および彩度(S)に変換する場合、HS変換回路125を除算器を用いて構成する必要があり、除算器を用いたHS変換回路125の実現方法は、演算に複数のサイクルを要するため、1サイクルでの処理の要求を満たすことができない。また、回路面積が大きくなるという問題もある。
However, when converting RGB values into hue (H) and saturation (S) using the equations (1) and (2), it is necessary to configure the
そこで、テーブルマッピングによる方法が考えられる。すなわち、RGB値を式(1)および式(2)を用いて予め計算したH値およびS値をメモリに保存しておき、それぞれのRGB値に対応するアドレスから計算結果を読み出すことで使用時の処理を削減する。 Therefore, a method using table mapping can be considered. In other words, the H value and S value calculated in advance using the equations (1) and (2) are stored in the memory, and the calculation result is read out from the address corresponding to each RGB value. Reduce processing.
しかし、R,G,Bは、それぞれ、8ビットのデータであるため、((28)3×9)ビットの大容量のメモリが必要であり、デコーダの回路面積が大きくなるという問題がある。 However, since each of R, G, and B is 8-bit data, a large-capacity memory of ((2 8 ) 3 × 9) bits is necessary, and the circuit area of the decoder is increased. .
そこで、この発明においては、好ましくは、H(0〜360度)およびS(0〜1)を複数のビン(領域)に分けることで計算結果をビンの数に限定し、その上でテーブルを参照して色相(H)および彩度(S)を求める。この方法によれば、除算器を一切使用せず、回路面積を抑えたRGB値からHSV値への変換回路を実現できる。 Therefore, in the present invention, preferably, the calculation result is limited to the number of bins by dividing H (0 to 360 degrees) and S (0 to 1) into a plurality of bins (regions), and then the table is displayed. The hue (H) and the saturation (S) are obtained by referring to them. According to this method, it is possible to realize a conversion circuit from RGB values to HSV values with a reduced circuit area without using any divider.
図14は、色相(Hue)のビンの構成図である。図14を参照して、色相(Hue)のビン構成は、3段構成からなり、360度のHue値を90個のビンで構成する。 FIG. 14 is a configuration diagram of a hue (Hue) bin. Referring to FIG. 14, the hue (Hue) bin configuration includes a three-stage configuration, and a 360-degree Hue value is configured by 90 bins.
Hue値の決定方法について説明する。まず、1段目(最も内側の円)で、注目画素が赤(01)、緑(10)、および青(11)のどのカテゴリに属するかをMAXに基づいて決定する。 A method for determining the Hue value will be described. First, in the first stage (innermost circle), it is determined based on MAX which category the pixel of interest belongs to red (01), green (10), and blue (11).
次に、MINを決定し、式(1)からMAXの条件に対応した式の分数部分が正か負かを決定する。分数部分が負である場合、“0”となり、分数部分が正である場合、“1”となる(2段目)。 Next, MIN is determined, and whether the fractional part of the expression corresponding to the condition of MAX is positive or negative is determined from Expression (1). When the fractional part is negative, it becomes “0”, and when the fractional part is positive, it becomes “1” (second stage).
最後に、15個のビンのうちのどのビンに対応するかを決定すれば、注目画素が90個のビンで構成されたHue値のどのビンに対応するかが解る(3段目)。 Finally, if it is determined which of the 15 bins corresponds to which bin of the Hue value composed of 90 bins, the pixel of interest corresponds to the third bin.
上述したHue値の決定方法においては、2段目までは、R,G,B値の大小関係から容易に決定できる。そこで、3段目の1〜15のビンの決定方法について説明する。 In the above-described Hue value determination method, it can be easily determined from the magnitude relationship of the R, G, and B values up to the second stage. Therefore, a method for determining the first to 15th bins will be described.
式(1)の分数部分を取出し、次の関係式を作成する。 The fractional part of equation (1) is taken out and the following relational expression is created.
式(6)において、MEDは、MAXおよびMIN以外のR,G,Bのいずれかの値、すなわち、中間値を表す。 In Expression (6), MED represents any value of R, G, and B other than MAX and MIN, that is, an intermediate value.
式(6)を変形すると、次式が得られる。 When formula (6) is transformed, the following formula is obtained.
そして、式(7)におけるXの値を1から14まで変化させたときに生成される14個の不等式の成立結果(1,0)からビン番号を決定する。 Then, the bin number is determined from the formation result (1,0) of the 14 inequalities generated when the value of X in Expression (7) is changed from 1 to 14.
図15は、図2に示すHS変換回路125に含まれる色相変換回路の構成を示す概略図である。HS変換回路125は、図15に示す色相変換回路1250を含む。図15を参照して、色相変換回路1250は、決定回路1251と、データ生成回路1252,1253と、スイッチ1254と、比較回路1255〜1268と、エンコーダ1269とを含む。
FIG. 15 is a schematic diagram showing the configuration of the hue conversion circuit included in the
決定回路1251は、画素値検出回路11から各画素のRGB値を受け、その受けたRGB値の最大値MAX、最小値MINおよび中間値MEDを決定する。そして、決定回路1251は、その決定した最大値MAXをデータ生成回路1252へ出力し、中間値MEDをデータ生成回路1253へ出力し、最小値MINをデータ生成回路1252,1253へ出力する。
The
データ生成回路1252は、決定回路1251から最大値MAXおよび最小値MINを受け、その受けた最大値MAXおよび最小値MINに基づいて、Xを1から14まで変化させた14個のX×(MAX−MIN)を順次演算し、その演算した14個のX×(MAX−MIN)(X=1〜14)をスイッチ1254へ出力する。すなわち、データ生成回路1252は、式(7)の右辺のBを演算し、その演算したBをスイッチ1254へ出力する。
The
また、データ生成回路1253は、決定回路1251から中間値MEDおよび最小値MINを受け、その受けた中間値MEDおよび最小値MINに基づいて、15×(MED−MIN)を演算し、その演算した15×(MED−MIN)をスイッチ1254へ出力する。すなわち、データ生成回路1253は、式(7)の左辺のAを演算し、その演算したAをスイッチ1254へ出力する。
In addition, the
スイッチ1254は、14個のX×(MAX−MIN)(X=1〜14)をデータ生成回路1252から受け、15×(MED−MIN)をデータ生成回路1253から受ける。そして、スイッチ1254は、1×(MAX−MIN)および15×(MED−MIN)を比較回路1255へ出力し、2×(MAX−MIN)および15×(MED−MIN)を比較回路1256へ出力し、以下、同様にして、14×(MAX−MIN)および15×(MED−MIN)を比較回路1268へ出力する。
The
比較回路1255は、1×(MAX−MIN)および15×(MED−MIN)をスイッチ1254から受け、1×(MAX−MIN)を15×(MED−MIN)と比較する。そして、比較回路1255は、その比較結果をエンコーダ1269へ出力する。より具体的には、比較回路1255は、15×(MED−MIN)<1×(MAX−MIN)が成立するとき、“1”をエンコーダ1269へ出力し、15×(MED−MIN)<1×(MAX−MIN)が成立しないとき、“0”をエンコーダ1269へ出力する。
比較回路1256は、2×(MAX−MIN)および15×(MED−MIN)をスイッチ1254から受け、2×(MAX−MIN)を15×(MED−MIN)と比較する。そして、比較回路1256は、その比較結果(1または0)をエンコーダ1269へ出力する。
以下、同様にして、比較回路1268は、14×(MAX−MIN)および15×(MED−MIN)をスイッチ1254から受け、14×(MAX−MIN)を15×(MED−MIN)と比較する。そして、比較回路1268は、その比較結果(1または0)をエンコーダ1269へ出力する。
Similarly, the
なお、比較回路1255〜1268は、平行してX×(MAX−MIN)を15×(MED−MIN)と比較し、その比較結果をエンコーダ1269へ出力する。したがって、エンコーダ1269は、比較結果を示す14ビットのデータを比較回路1255〜1268から受ける。
Note that the
エンコーダ1269は、14ビットからなる比較結果を比較回路1255〜1268から受け、その受けた14ビットの比較結果に基づいて、ビン番号を決定する。より具体的には、エンコーダ1269は、[01000000000000]の比較結果を比較回路1255〜1268から受けたとき、ビン番号を“2”と決定し、[00000000010000]の比較結果を比較回路1255〜1268から受けたとき、ビン番号を“10”と決定する。なお、エンコーダ1269は、全てが“0”からなる[00000000000000]の比較結果を比較回路1255〜1268から受けたとき、ビン番号を“15”と決定する。
The
そして、エンコーダ1269は、その決定したビン番号をHueビン番号としてDラッチ回路126へ出力する。
Then, the
上述したように、データ生成回路1252は、X×(MAX−MIN)を演算し、データ生成回路1253は、15×(MED−MIN)を演算するので、データ生成回路1252,1253の各々を加算器とシフト器とを用いた簡単な回路により実現できる。
As described above, since the
次に、RGB値から彩度(S)への変換について説明する。図16は、彩度(S)のビンの構成図である。図16を参照して、0〜0.1の範囲の彩度(S)は、1のビンに割り当てられ、0.1〜0.15の範囲の彩度(S)は、2のビンに割り当てられ、0.15〜0.1625の範囲の彩度(S)は、3のビンに割り当てられ、0.1625〜0.1750の範囲の彩度(S)は、4のビンに割り当てられ、0.1750〜0.1875の範囲の彩度(S)は、5のビンに割り当てられ、0.1875〜0.2の範囲の彩度(S)は、6のビンに割り当てられる。また、0.2〜0.2125の範囲の彩度(S)は、7のビンに割り当てられ、0.2125〜0.2250の範囲の彩度(S)は、8のビンに割り当てられ、0.2250〜0.2375の範囲の彩度(S)は、9のビンに割り当てられ、0.2375〜0.25の範囲の彩度(S)は、10のビンに割り当てられ、0.25〜0.30の範囲の彩度(S)は、11のビンに割り当てられ、0.3〜1.0の範囲の彩度(S)は、12のビンに割り当てられる。 Next, conversion from RGB values to saturation (S) will be described. FIG. 16 is a block diagram of a chroma (S) bin. Referring to FIG. 16, saturation (S) in the range of 0-0.1 is assigned to 1 bin, and saturation (S) in the range of 0.1-0.15 is assigned to 2 bins. Saturation (S) in the range 0.15 to 0.1625 is assigned to 3 bins, and Saturation (S) in the range 0.1625 to 0.1750 is assigned to 4 bins. Saturation (S) in the range of 0.1750 to 0.1875 is assigned to 5 bins, and saturation (S) in the range of 0.1875 to 0.2 is assigned to 6 bins. Also, saturation (S) in the range of 0.2 to 0.2125 is assigned to 7 bins, saturation (S) in the range of 0.2125 to 0.2250 is assigned to 8 bins, Saturation (S) in the range of 0.2250 to 0.2375 is assigned to 9 bins, and saturation (S) in the range of 0.2375 to 0.25 is assigned to 10 bins. Saturation (S) in the range of 25-0.30 is assigned to 11 bins, and saturation (S) in the range of 0.3-1.0 is assigned to 12 bins.
このように、彩度(S)は、彩度境界である0.2付近にある程、細分されたビンに割り当てられる。 As described above, the saturation (S) is assigned to the bins that are subdivided as the saturation boundary is near 0.2.
RGB値から彩度(S)への変換も、RGB値から色相(H)への変換と同様な方法を用いる。彩度(S)の計算が必要になるのは、2つの画素のうちの一方の画素が無彩色領域に属し、他方の画素が有彩色領域に属する場合である。すなわち、2つの画素が彩度境界(S=0.2)を間に挟んだ関係にある場合である。 The conversion from the RGB value to the saturation (S) uses the same method as the conversion from the RGB value to the hue (H). Saturation (S) needs to be calculated when one of the two pixels belongs to the achromatic color area and the other pixel belongs to the chromatic color area. That is, two pixels are in a relationship with a saturation boundary (S = 0.2) sandwiched therebetween.
そこで、図16に示すように、彩度境界(S=0.2)の付近に限定して細かいビンに分ける。彩度のビンは、次の2つの式(8),(9)の成立結果を元に12個のビンへ彩度を割り当てる。 Therefore, as shown in FIG. 16, the bins are divided into fine bins limited to the vicinity of the saturation boundary (S = 0.2). Saturation bins are assigned to 12 bins based on the results of the following two expressions (8) and (9).
式(8)および式(9)の分母を払うと、それぞれ、式(10)および式(11)が得られる。 If the denominators of Equation (8) and Equation (9) are paid, Equation (10) and Equation (11) are obtained, respectively.
図17は、図2に示すHS変換回路125に含まれる彩度変換回路の構成を示す概略図である。HS変換回路125は、図17に示す彩度変換回路1270を含む。図17を参照して、彩度変換回路1270は、決定回路1271と、データ生成回路1272〜1275と、スイッチ1276と、比較回路1277〜1288と、エンコーダ1289とを含む。
FIG. 17 is a schematic diagram illustrating a configuration of a saturation conversion circuit included in the
決定回路1271は、画素値検出回路11からRGB値を受け、その受けたRGB値の最大値MAXおよび最小値MINを決定する。そして、決定回路1271は、その決定した最大値MAXをデータ生成回路1272〜1275へ出力し、その決定した最小値MINをデータ生成回路1274,1275へ出力する。
The
データ生成回路1272は、決定回路1271から最大値MAXを受け、その受けた最大値MAXを用いて、Yを2,3,6と変化させたY×MAXを順次演算し、その演算した3個のY×MAX(Y=2,3,6)をスイッチ1276へ出力する。すなわち、データ生成回路1272は、式(10)の右辺のDを演算し、その演算したDをスイッチ1276へ出力する。
The
データ生成回路1273は、決定回路1271から最大値MAXを受け、その受けた最大値MAXを用いて、Zを12から20まで変化させたZ×MAXを順次演算し、その演算した9個のZ×MAX(Z=12〜20)をスイッチ1276へ出力する。すなわち、データ生成回路1253は、式(11)の右辺のFを演算し、その演算したFをスイッチ1276へ出力する。
The
データ生成回路1274は、決定回路1271から最大値MAXおよび最小値MINを受け、その受けた最大値MAXおよび最小値MINを用いて20×(MAX−MIN)を演算し、その演算した20×(MAX−MIN)をスイッチ1276へ出力する。すなわち、データ生成回路1274は、式(10)の左辺のCを演算し、その演算したCをスイッチ1276へ出力する。
The
データ生成回路1275は、決定回路1271から最大値MAXおよび最小値MINを受け、その受けた最大値MAXおよび最小値MINを用いて80×(MAX−MIN)を演算し、その演算した80×(MAX−MIN)をスイッチ1276へ出力する。すなわち、データ生成回路1275は、式(11)の左辺のEを演算し、その演算したEをスイッチ1276へ出力する。
The
スイッチ1276は、データ生成回路1272から3個のY×MAX(Y=2,3,6)を受け、データ生成回路1273から9個のZ×MAX(Z=12〜20)を受け、データ生成回路1274から20×(MAX−MIN)を受け、データ生成回路1275から80×(MAX−MIN)を受ける。
The
そして、スイッチ1276は、2×MAXおよび20×(MAX−MIN)を比較回路1277へ出力し、3×MAXおよび20×(MAX−MIN)を比較回路1278へ出力し、6×MAXおよび20×(MAX−MIN)を比較回路1279へ出力する。
Then, the
また、スイッチ1276は、12×MAXおよび80×(MAX−MIN)を比較回路1280へ出力し、13×MAXおよび80×(MAX−MIN)を比較回路1281へ出力し、以下、同様にして、20×MAXおよび80×(MAX−MIN)を比較回路1288へ出力する。
Further, the
比較回路1277は、2×MAXおよび20×(MAX−MIN)をスイッチ1276から受け、2×MAXを20×(MAX−MIN)と比較し、その比較結果をエンコーダ1289へ出力する。より具体的には、比較回路1277は、20×(MAX−MIN)<2×MAXが成立するとき、“1”をエンコーダ1289へ出力し、20×(MAX−MIN)<2×MAXが成立しないとき、“0”をエンコーダ1289へ出力する。
また、比較回路1278は、3×MAXおよび20×(MAX−MIN)をスイッチ1276から受け、3×MAXを20×(MAX−MIN)と比較し、20×(MAX−MIN)<3×MAXが成立するとき、“1”をエンコーダ1289へ出力し、20×(MAX−MIN)<3×MAXが成立しないとき、“0”をエンコーダ1289へ出力する。
The
同様にして、比較回路1279は、6×MAXおよび20×(MAX−MIN)をスイッチ1276から受け、6×MAXを20×(MAX−MIN)と比較し、20×(MAX−MIN)<6×MAXが成立するとき、“1”をエンコーダ1289へ出力し、20×(MAX−MIN)<6×MAXが成立しないとき、“0”をエンコーダ1289へ出力する。
Similarly, the
比較回路1280は、12×MAXおよび80×(MAX−MIN)をスイッチ1276から受け、12×AMXを80×(MAX−MIN)と比較し、その比較結果をエンコーダ1289へ出力する。より具体的には、比較回路1280は、80×(MAX−MIN)<12×MAXが成立するとき、“1”をエンコーダ1289へ出力し、80×(MAX−MIN)<12×MAXが成立しないとき、“0”をエンコーダ1289へ出力する。
The
比較回路1281は、13×MAXおよび80×(MAX−MIN)をスイッチ1276から受け、13×AMXを80×(MAX−MIN)と比較し、80×(MAX−MIN)<13×MAXが成立するとき、“1”をエンコーダ1289へ出力し、80×(MAX−MIN)<13×MAXが成立しないとき、“0”をエンコーダ1289へ出力する。
The comparison circuit 1281 receives 13 × MAX and 80 × (MAX−MIN) from the
以下、同様にして、比較回路1288は、20×MAXおよび80×(MAX−MIN)をスイッチ1276から受け、20×AMXを80×(MAX−MIN)と比較し、80×(MAX−MIN)<20×MAXが成立するとき、“1”をエンコーダ1289へ出力し、80×(MAX−MIN)<20×MAXが成立しないとき、“0”をエンコーダ1289へ出力する。
Similarly, the
なお、比較回路1277〜1288は、上述した比較を平行して行ない、その比較結果を平行してエンコーダ1289へ出力する。したがって、エンコーダ1289は、12ビットのデータを比較回路1277〜1288から受ける。
Note that the
エンコーダ1289は、12ビットからなる比較結果を比較回路1277〜1288から受け、その受けた12ビットの比較結果に基づいて、ビン番号を決定する。より具体的には、エンコーダ1289は、[100000000000]の比較結果を比較回路1277〜1288から受けたとき、ビン番号を“1”と決定し、[000000100000]の比較結果を比較回路1277〜1288から受けたとき、ビン番号を“7”と決定する。エンコーダ1289は、その他の12ビットの比較結果を受けたときも、同様にしてビン番号を決定する。
The
そして、エンコーダ1289は、その決定したビン番号をSビン番号としてDラッチ回路126へ出力する。
The
上述したように、データ生成回路1272は、Y×MAXを演算し、データ生成回路1273は、Z×MAXを演算し、データ生成回路1274は、20×(MAX−MIN)を演算し、データ生成回路1275は、80×(MAX−MIN)を演算するので、データ生成回路1272〜1275の各々を加算器とシフト器とを用いた簡単な回路により実現できる。
As described above, the
結合重みの決定方法について説明する。図18は、結合重みを決定する方法を説明するための図である。図18を参照して、外側の円は、色相(Hue)を表しており、また、中心から円周方向へ彩度をとっている。 A method for determining the connection weight will be described. FIG. 18 is a diagram for explaining a method of determining the connection weight. Referring to FIG. 18, the outer circle represents a hue (Hue), and takes saturation from the center in the circumferential direction.
カラー領域と、色合いを殆ど識別できない無彩色に近い色とを分離するのにしきい値Sthとして0.2付近が適していることが実験的に解ったので、0.2を彩度の境界とする。内側の円は、彩度が0.2である境界を表し、0.2よりも彩度が低い領域は、ほぼ無彩色に近い色であり、0.2よりも彩度が高い領域は、有彩色として扱う。また、図中の×は、画素を表している。 Since it has been experimentally found that a threshold value Sth of about 0.2 is suitable for separating a color region and a color close to an achromatic color whose hue can hardly be identified, 0.2 is defined as a saturation boundary. To do. The inner circle represents the boundary where the saturation is 0.2, the region where the saturation is lower than 0.2 is a color almost achromatic, and the region where the saturation is higher than 0.2 is Treat as a chromatic color. Further, x in the figure represents a pixel.
2つの画素についてそれぞれ彩度S1,S2を演算し、その演算した2つの彩度S1,S2をしきい値Sth(=0.2)と比較する。 The saturations S1 and S2 are calculated for the two pixels, respectively, and the calculated two saturations S1 and S2 are compared with a threshold value Sth (= 0.2).
そして、2つの彩度S1,S2の両方がしきい値Sth以下であるとき、2つの画素は、無彩色領域に属すると判定し(図18の(a)の場合)、RGB値のみに基づいて、式(4),(5)を用いて2つの画素間の結合重みを決定する。 When both of the two saturations S1 and S2 are equal to or smaller than the threshold value Sth, it is determined that the two pixels belong to the achromatic color region (in the case of FIG. 18A), and based on only the RGB value. Thus, the connection weight between the two pixels is determined using equations (4) and (5).
また、2つの彩度S1,S2のうち、いずれか一方がしきい値Sth以下であるとき、2つの画素のうち、一方が無彩色領域に属し、他方が有彩色領域に属すると判定し(図18の(b)の場合)、RGB値および彩度(S)を用いて2つの画素間の結合重みを決定する。 Further, when one of the two saturations S1 and S2 is equal to or less than the threshold value Sth, it is determined that one of the two pixels belongs to the achromatic region and the other belongs to the chromatic region ( In the case of (b) in FIG. 18, the connection weight between the two pixels is determined using the RGB value and the saturation (S).
さらに、2つの彩度S1,S2の両方がしきい値Sthよりも大きいとき、2つの画素の両方が有彩色領域に属すると判定し(図18の(c)の場合)、RGB値および色相(H)を用いて2つの画素間の結合重みを決定する。 Further, when both of the two saturations S1 and S2 are larger than the threshold value Sth, it is determined that both the two pixels belong to the chromatic color region (in the case of (c) in FIG. 18), and the RGB value and the hue are determined. (H) is used to determine the connection weight between the two pixels.
このように、この発明においては、実験的に求められたしきい値Sth(=0.2)を用いて、2つの画素が無彩色領域および有彩色領域のいずれに属するかを決定する。これによって、2つの画素がどの領域に属するかを正確に決定できる。 As described above, in the present invention, the threshold value Sth (= 0.2) obtained experimentally is used to determine whether the two pixels belong to the achromatic color region or the chromatic color region. This makes it possible to accurately determine which region the two pixels belong to.
また、しきい値Sth(=0.2)は、人間が目視によって色合いを殆ど識別できない無彩色に近い色と、カラー領域とを分離するために実験的に求められたので、人間の実際の識別に沿って2つの画素がどの領域に属するかを正確に決定できる。 Further, the threshold value Sth (= 0.2) was experimentally obtained in order to separate a color region from a color close to an achromatic color in which a human can hardly distinguish the hue by visual observation. Along with the identification, it can be accurately determined which region the two pixels belong to.
図18の(a)に示す場合、結合重みをHSV色空間の色相(H)を用いて計算しても、無彩色領域では、色相が意味を持たないため、領域の分割精度の向上を期待できない。HSV色空間の明度成分(V)を用いることも可能であるが、シミュレーションによりRGB値を用いた方が精度が向上するので、図18の(a)に示す領域では、RGB値のみを用いて結合重みを決定する。 In the case shown in FIG. 18 (a), even if the coupling weight is calculated using the hue (H) of the HSV color space, the hue is meaningless in the achromatic color region, and therefore, the improvement of the division accuracy of the region is expected. Can not. Although it is possible to use the lightness component (V) of the HSV color space, since the accuracy is improved by using RGB values by simulation, only the RGB values are used in the region shown in FIG. Determine the connection weight.
また、図18の(b)に示す場合、図6に示すサンプル画像の人物の領域でリーダセルが見つかり、机の領域に領域が成長しており、無彩色領域からカラー領域へ領域が広がったために生じた分割ミスである。逆に、カラー領域から無彩色領域へ成長する場合もある。サンプル画像のように、人物と机の重なりによって発生する影の影響で色が徐々に変化し、はっきりとしたエッジが領域境界に現れない場合、RGB値だけでは、分割は難しい。 Further, in the case shown in FIG. 18B, the leader cell is found in the person area of the sample image shown in FIG. 6, the area has grown in the desk area, and the area has expanded from the achromatic area to the color area. The division error that occurred. On the contrary, the color region may grow from the achromatic region. As in the sample image, when the color gradually changes due to the influence of the shadow generated by the overlap between the person and the desk and no clear edge appears at the boundary of the region, the division is difficult only with the RGB values.
この問題を解決するために、彩度(S)を用いて実験的に求めたS=0.2の彩度境界をしきい値として、カラー領域(机領域)と無彩色領域(人物領域)との境界を検出することにした。 In order to solve this problem, a color region (desk region) and an achromatic region (person region) are set with a saturation boundary of S = 0.2 obtained experimentally using saturation (S) as a threshold value. And decided to detect the boundary.
そして、2つの画素が無彩色領域と有彩色領域とに属する場合、彩度(S)を用いて無彩色領域と有彩色領域との境界を決定し、境界面に属する2つの画素間の結合重みを、RGB値の計算で求めた結合重みの値よりも小さく設定することで、有彩色領域から無彩色領域へ、または無彩色領域から有彩色領域へ領域の成長を抑制する方向に結合重みを決定する。これによって、画像分割において、有彩色領域から無彩色領域へ、または無彩色領域から有彩色領域への領域の成長が抑制され、コントラストが低い入力画像に対しても、画像を正確に分割できる。 When two pixels belong to the achromatic color region and the chromatic color region, the boundary between the achromatic color region and the chromatic color region is determined using the saturation (S), and the connection between the two pixels belonging to the boundary surface By setting the weight to be smaller than the value of the combination weight obtained by calculating the RGB value, the combination weight in the direction of suppressing the growth of the region from the chromatic color region to the achromatic color region or from the achromatic color region to the chromatic color region. To decide. Thereby, in the image division, the growth of the region from the chromatic color region to the achromatic color region or from the achromatic color region to the chromatic color region is suppressed, and the image can be accurately divided even for an input image with low contrast.
さらに、図18の(c)に示す場合、RGB値を元に決定した画素間の結合重みでは、光の反射などにより明度および彩度に変化が生じた場合、画素間の各成分の差は大きくなるため、結合重みは小さい値になる。そのため、図7に示すサンプル画像では、同一領域をまとめて抽出することが困難であった。 Further, in the case shown in FIG. 18C, when the lightness and saturation change due to light reflection or the like in the connection weight between the pixels determined based on the RGB values, the difference in each component between the pixels is as follows. Since it becomes large, the connection weight becomes a small value. Therefore, in the sample image shown in FIG. 7, it is difficult to extract the same region collectively.
そこで、明度および彩度が変化しても、色合いそのものは、さほど変化しないことに注目し、色相(H)を用いた色相判定を取り入れる。有彩色領域に属する画素同士の結合重みの決定には、まず、2つの画素の色相比較を行ない、色相の差があるしきい値以内であるか否か、つまり、2つの画素が同一色相とみなせる範囲であるか否かの判定を行なう。そして、同一色相であると判定した場合、RGB値から決定した結合重みが小さいときは(つまり、反射などの影響でRGB色空間では差が大きいとき)、領域を助長する方向へ、より大きい結合重みを与える。これにより、類似色相に属する有彩色領域の画素同士は、領域が成長し易くなり、反射などにより明度および彩度が変化する領域を1領域としてまとめて抽出することができる。 Therefore, paying attention to the fact that the hue itself does not change much even if the brightness and saturation change, the hue determination using the hue (H) is taken in. In determining the connection weight between pixels belonging to the chromatic color region, first, the hue comparison between two pixels is performed, and whether or not the difference in hue is within a certain threshold value, that is, the two pixels have the same hue. Judgment is made as to whether or not the range is acceptable. Then, when it is determined that the hues are the same, when the combination weight determined from the RGB values is small (that is, when the difference is large in the RGB color space due to the influence of reflection or the like), the larger combination is performed in the direction of promoting the region. Give weight. Thereby, the pixels of the chromatic color region belonging to the similar hue are easily grown, and the region where the brightness and saturation change due to reflection or the like can be extracted as one region.
図18の(a),(b),(c)の各場合における具体的な結合重みの決定方法について説明する。 A specific method for determining the connection weight in each of the cases (a), (b), and (c) of FIG. 18 will be described.
図18の(a)に示す場合、結合重みは、式(4),(5)によりRGB値のみを用いて決定されるが、式(4),(5)を用いて結合重みを演算する回路をディジタル回路として実装する場合、除算器は、回路面積が大きく、複数のクロックサイクルを必要とすることから、この発明においては、デコーダを用いてテーブルマッピングによって結合重みを決定する。表1は、RGB値のみを用いて結合重みを決定するときの変換テーブルを示す。 In the case shown in (a) of FIG. 18, the connection weight is determined using only the RGB values according to the expressions (4) and (5), but the connection weight is calculated using the expressions (4) and (5). When the circuit is implemented as a digital circuit, the divider has a large circuit area and requires a plurality of clock cycles. Therefore, in the present invention, the connection weight is determined by table mapping using a decoder. Table 1 shows a conversion table when determining the connection weight using only RGB values.
表1に示す変換テーブルは、注目画素(i,j)と近傍画素(k,l)との2画素のRGB値を用いて演算した明度Ii,jと明度Ik,lとの差の絶対値|Ii,j−Ik,l|と、結合重みとの対応関係を示す。 The conversion table shown in Table 1 shows the difference between the brightness I i, j and the brightness I k, l calculated using the RGB values of the two pixels of the target pixel (i, j) and the neighboring pixel (k, l). The correspondence relationship between the absolute value | I i, j −I k, l | and the connection weight is shown.
したがって、この発明においては、図18の(a)に示す場合、2つの画素(i,j),(k,l)のRGB値に基づいて、2つの明度Ii,j,Ik,lを演算し、その演算した2つの明度Ii,j,Ik,lの差の絶対値|Ii,j−Ik,l|を演算し、その演算した絶対値|Ii,j−Ik,l|に対応する結合重みを表1を参照して抽出することにより、2つの画素(i,j),(k,l)の結合重みを決定する。 Therefore, in the present invention, in the case shown in FIG. 18A, based on the RGB values of the two pixels (i, j) and (k, l), the two lightness values I i, j , I k, l calculates the two intensity I i obtained by the calculation, j, I k, the absolute value of the difference between the l | I i, j -I k , l | computes, the calculated absolute value | I i, j - By extracting the connection weight corresponding to I k, l | with reference to Table 1, the connection weight of the two pixels (i, j) and (k, l) is determined.
次に、図18の(b)に示す場合、領域が広がるのを抑制するために、RGB色空間から表1の変換テーブルを用いて得られた結合重みよりも小さい結合重みを与える。 Next, in the case shown in (b) of FIG. 18, in order to suppress the area from expanding, a connection weight smaller than the connection weight obtained from the RGB color space using the conversion table of Table 1 is given.
この場合、彩度境界(S=0.2)をしきい値として無彩色と有彩色との2値に分別したとき、彩度境界付近の画素間の結合重みと、彩度境界から完全に離れた彩度の全く異なる画素間の結合重みとを同様の基準で扱わないように、結合重みを決定する。 In this case, when the saturation boundary (S = 0.2) is used as a threshold value and the binary separation is performed between an achromatic color and a chromatic color, the connection weight between pixels near the saturation boundary and the saturation boundary are completely eliminated. The connection weight is determined so that the connection weight between the pixels having completely different saturations is not treated on the same basis.
図19は、反射による画素値への影響を示す図である。また、図20は、彩度境界を変化させたときの無彩色画素値の変化を示す図である。 FIG. 19 is a diagram illustrating the influence of the reflection on the pixel value. FIG. 20 is a diagram illustrating a change in the achromatic pixel value when the saturation boundary is changed.
図19の(a)は、入力画像を示し、図19の(b)は、図19の(a)に示す道路の画像を、彩度境界(S=0.2)をしきい値として無彩色(0)と有彩色(1)とに2値化した画像を示し、図19の(c)は、画像分割の結果を示す。 19A shows the input image, and FIG. 19B shows the road image shown in FIG. 19A without the saturation boundary (S = 0.2) as a threshold value. An image binarized into a chromatic color (0) and a chromatic color (1) is shown, and FIG. 19C shows a result of image division.
図19の(b)から解るように、画像の道路部分は、実験的に求めた彩度境界(S=0.2)を無彩色領域と有彩色領域との分別のしきい値として用いると、画像中央を境に同一領域が有彩色領域と無彩色領域とに分かれて分類されてしまう。その結果、図19の(c)に示すように、道路は、彩度境界を境に領域の成長が抑制され、分割画像は、RGB色空間を用いた場合よりも精度が低下してしまう。 As can be seen from (b) of FIG. 19, the road portion of the image uses the experimentally determined saturation boundary (S = 0.2) as a threshold for separating the achromatic region from the chromatic region. The same area is divided into a chromatic color area and an achromatic color area at the center of the image. As a result, as shown in FIG. 19C, the road is suppressed from growing at the saturation boundary, and the accuracy of the divided image is lower than when the RGB color space is used.
図20を参照して、曲線k1は、画像中にカラー領域を含む画像に対する無彩色画素数の変化を示し、曲線k2は、画像中にカラー領域を含まないグレー画像に対する無彩色画素数の変化を示す。 Referring to FIG. 20, a curve k1 indicates a change in the number of achromatic pixels for an image including a color area in the image, and a curve k2 indicates a change in the number of achromatic pixels for a gray image not including the color area in the image. Indicates.
図20から解るように、カラー領域を含む画像は、彩度境界が50〜60付近(S=0.2)を境に無彩色画素数が飽和している。一方、グレー画像の場合、無彩色画素数は、線形的に変化し続ける。 As can be seen from FIG. 20, in an image including a color region, the number of achromatic pixels is saturated with a saturation boundary near 50 to 60 (S = 0.2). On the other hand, in the case of a gray image, the number of achromatic pixels continues to change linearly.
この結果から、彩度境界を挟む2つの画素間の結合重みを領域が成長しない領域まで急激に下げてしまうと、彩度境界によってうまく無彩色領域と有彩色領域とを分けることができなかった場合、グレー領域の分割精度が低下する。 From this result, if the connection weight between two pixels across the saturation boundary is drastically lowered to a region where the region does not grow, the achromatic region and the chromatic region cannot be separated well by the saturation boundary. In this case, the division accuracy of the gray area decreases.
そこで、彩度境界に近い画素同士に対しては、結合重みの下げ幅を小さくし、彩度境界から離れるに従って結合重みの下げ幅を大きくする。これによって、グレー領域の分割精度を向上できる。 Therefore, for the pixels close to the saturation boundary, the reduction amount of the connection weight is reduced, and the reduction amount of the connection weight is increased as the distance from the saturation boundary is increased. Thereby, the division accuracy of the gray area can be improved.
図18の(b)に示す場合における結合重みの変換テーブルを表2に示す。 Table 2 shows a connection weight conversion table in the case shown in FIG.
表2から解るように、絶対値|Ii,j−Ik,l|が001x_xxxx,0000_1xxx,0000_01xx,0000_001x,0000_000xである場合、結合重みは、彩度差|Si,j−Sk,l|が大きくなるに従って、RGB値のみを用いて決定した結合重み(表1参照)からの下げ幅を大きくして決定される。 As can be seen from Table 2, the absolute value | I i, j -I k, l | is 001x_xxxx, 0000_1xxx, 0000_01xx, 0000_001x, if a 0000_000X, binding weights, chroma difference | S i, j -S k, As l | becomes larger, the amount of reduction from the connection weight (see Table 1) determined using only RGB values is increased.
最後に、図18の(c)に示す場合の具体的な結合重みの決定方法について説明する。カラー画像では、反射などの影響がない場合、RGB色空間による結合重みの決定によって精度の高い領域分割結果が得られることが解っている。そのため、反射の影響を受けた画素間の結合重みに対してのみ、HSV色空間を用いて結合重みを最適化することが好ましい。 Finally, a specific method for determining the connection weight in the case shown in FIG. 18C will be described. It has been found that, in a color image, when there is no influence of reflection or the like, a highly accurate region division result can be obtained by determining the connection weight using the RGB color space. Therefore, it is preferable to optimize the coupling weight using the HSV color space only for the coupling weight between pixels affected by reflection.
そこで、R,G,Bの各成分が乱反射の影響によって連続画素間でどの程度変化するかをサンプル画像を用いて調べた。図21は、R,G,Bの各成分の乱反射による影響を示す図である。 Therefore, it was examined by using a sample image how much each of the R, G, and B components changes between continuous pixels due to the influence of irregular reflection. FIG. 21 is a diagram illustrating the influence of irregular reflection of R, G, and B components.
図21の(a)は、評価に用いたサンプル画像を示し、図21の(b)は、図21の(a)に示す線分A−B間上の画素のR,G,B値の変化を示し、図21の(c)は、図21の(a)に示す線分C−D間上の画素のR,G,B値の変化を示す。すなわち、図21の(b)は、光の反射の影響を受ける車のボディー領域の画素値の変化を示し、図21の(c)は、光の反射の影響を受けていない道路領域の画素値の変化を示す。 21A shows a sample image used for the evaluation, and FIG. 21B shows the R, G, and B values of the pixels on the line segment A-B shown in FIG. FIG. 21C shows changes in the R, G, and B values of the pixels on the line segment CD shown in FIG. 21A. That is, (b) of FIG. 21 shows a change in the pixel value of the vehicle body region affected by light reflection, and (c) of FIG. 21 shows a pixel in the road region not affected by light reflection. Indicates a change in value.
図21を参照して、ボディー領域は、道路領域に比べ、連続画素間で画素値の変化が大きい。そして、光の反射による画素間の変化量は、30から100の間に集中していることが反射領域を持つサンプル画像から解った。つまり、画素値の差が非常に小さい領域、または、逆に画素値の差が非常に大きい領域は、光の反射による影響を受けていないと判定することにする。 Referring to FIG. 21, the body region has a larger change in pixel value between consecutive pixels than the road region. Then, it was found from the sample image having the reflection area that the amount of change between the pixels due to the reflection of light is concentrated between 30 and 100. That is, it is determined that an area where the pixel value difference is very small, or conversely, an area where the pixel value difference is very large is not affected by light reflection.
そこで、この発明においては、色相(H)の評価結果を利用した結合重みの最適化を表1に示す01xx_xxxx,001x_xxxx,0001_xxxxに限定することで、RGB値によるカラー領域の分割精度を保持しつつ、色相(H)によって精度を向上させることができる。 Therefore, in the present invention, the optimization of the coupling weight using the evaluation result of the hue (H) is limited to 01xxx_xxxx, 001x_xxxx, 0001_xxxx shown in Table 1, thereby maintaining the division accuracy of the color area based on the RGB values. The accuracy can be improved by the hue (H).
次に、2画素のHue値の差を元に、表1の01xx_xxxx,001x_xxxx,0001_xxxxにおける結合重みをどの値まで引き上げるかを検討する。色相(H)の幅を大きく取り過ぎると、異なる色まで領域が成長してしまう。たとえば、色相の近い赤と橙色の画素値が同一色相として扱われると、2領域を分離することが困難になる。 Next, based on the difference between the Hue values of the two pixels, it is examined to what value the coupling weights at 01xxx_xxxx, 001x_xxxx, 0001_xxxx in Table 1 are to be raised. If the hue (H) is too wide, the region will grow to a different color. For example, if red and orange pixel values having similar hues are treated as the same hue, it is difficult to separate the two areas.
逆に、色相(H)の幅を小さくし過ぎると、RGB値から色相(H)への変換計算には、除算が必要であるため、回路面積が大きくなる。 Conversely, if the hue (H) width is too small, the conversion calculation from RGB values to the hue (H) requires division, so that the circuit area increases.
そこで、実装面積と分割精度との両方を考慮してシミュレーションした結果、色相(H)の最小単位を4度に設定した場合、色相の近い色も分割できることが解った。 Therefore, as a result of simulation in consideration of both the mounting area and the division accuracy, it has been found that when the minimum unit of hue (H) is set to 4 degrees, colors having similar hues can be divided.
図22は、赤の車のボディーのHue値のヒストグラムを示す図である。また、図23は、青の車のボディーのHue値のヒストグラムを示す図である。 FIG. 22 is a diagram showing a histogram of the Hue value of the red car body. FIG. 23 is a diagram showing a histogram of Hue values for the body of a blue car.
図22および図23を参照して、ヒストグラムの山を中心にして±10度幅に殆どの画素が集中して抽出されている。また、画素間のHue値の差は、同一領域(同一色)中では、約10度以内と非常に変化量が小さい。 Referring to FIGS. 22 and 23, most pixels are concentrated and extracted within a width of ± 10 degrees around the peak of the histogram. Further, the difference in the Hue value between pixels is very small and is within about 10 degrees in the same region (same color).
したがって、上述した実験の結果を考慮して、2画素間のHue値の差|Hij−Hkl|に対して、4度以下、5度以上8度以下、およびそれ以外の3つの判定条件を設けて、図18の(c)に示す場合の結合重みの変換テーブルを表3に示すように決定した。 Therefore, in consideration of the result of the above-described experiment, 4 degrees or less, 5 degrees or more and 8 degrees or less, and the other three determination conditions with respect to the difference in hue value | H ij −H kl | between two pixels As shown in Table 3, the connection weight conversion table in the case shown in FIG.
このように、2つの画素の色相差が4度変化するごとに2つの画素間の結合重みを変化させる。そして、色相差が小さい程、大きな結合重みが与えられる。 Thus, every time the hue difference between two pixels changes by 4 degrees, the coupling weight between the two pixels is changed. And the smaller the hue difference is, the greater the connection weight is given.
図24は、図2に示す重み計算ユニット132の構成図である。図24を参照して、重み計算ユニット132は、結合重み演算回路1320と、色相差計算回路1330と、彩度差計算回路1340と、結合重み修正回路1350,1360と、セレクタ信号生成回路1370と、セレクタ1380とを含む。
FIG. 24 is a block diagram of the
結合重み演算回路1320は、Dラッチ回路122およびFIFO回路123から受けた2つのRGB値に基づいて、表1を用いて2つの画素間の結合重みを演算し、その演算した結合重みを結合重み修正回路1350,1360およびセレクタ1380へ出力する。
Based on the two RGB values received from the
結合重み演算回路1320は、絶対値演算器1321,1323,1325と、エンコーダ1322,1324,1326と、最小値選択回路1327とを含む。
The combination
絶対値演算器1321は、Dラッチ回路122およびFIFO回路123から受けた2つのR値RA,RBに基づいて、明度IA(R),IB(R)を演算し、その演算した明度IA(R),IB(R)の差の絶対値|IA(R)−IB(R)|を演算する。そして、絶対値演算器1321は、その演算した絶対値|IA(R)−IB(R)|をエンコーダ1322へ出力する。
The
エンコーダ1322は、表1を保持しており、絶対値演算器1321から絶対値|IA(R)−IB(R)|を受けると、表1を参照して、絶対値|IA(R)−IB(R)|に対応する結合重みWA,B(R)を抽出し、その抽出した結合重みWA,B(R)を最小値選択回路1327へ出力する。
The
絶対値演算器1323は、Dラッチ回路122およびFIFO回路123から受けた2つのG値GA,GBに基づいて、明度IA(G),IB(G)を演算し、その演算した明度IA(G),IB(G)の差の絶対値|IA(G)−IB(G)|を演算する。そして、絶対値演算器1323は、その演算した絶対値|IA(G)−IB(G)|をエンコーダ1324へ出力する。
The
エンコーダ1324は、表1を保持しており、絶対値演算器1323から絶対値|IA(G)−IB(G)|を受けると、表1を参照して、絶対値|IA(G)−IB(G)|に対応する結合重みWA,B(G)を抽出し、その抽出した結合重みWA,B(G)を最小値選択回路1327へ出力する。
The
絶対値演算器1325は、Dラッチ回路122およびFIFO回路123から受けた2つのB値BA,BBに基づいて、明度IA(B),IB(B)を演算し、その演算した明度IA(B),IB(B)の差の絶対値|IA(B)−IB(B)|を演算する。そして、絶対値演算器1325は、その演算した絶対値|IA(B)−IB(B)|をエンコーダ1326へ出力する。
The
エンコーダ1326は、表1を保持しており、絶対値演算器1325から絶対値|IA(B)−IB(B)|を受けると、表1を参照して、絶対値|IA(B)−IB(B)|に対応する結合重みWA,B(B)を抽出し、その抽出した結合重みWA,B(B)を最小値選択回路1327へ出力する。
The
最小値選択回路1327は、エンコーダ1322,1324,1326からそれぞれ結合重みWA,B(R),WA,B(G),WA,B(B)を受け、その受けた3個の結合重みWA,B(R),WA,B(G),WA,B(B)の中から最小の結合重みWA,Bを選択する。そして、最小値選択回路1327は、その選択した結合重みWA,Bを結合重み修正回路1350,1360およびセレクタ1380へ出力する。
Minimum
色相差計算回路1330は、図14に示すHueビン番号の割当図を保持しており、Dラッチ回路127およびFIFO回路128からそれぞれHueビン番号AおよびHueビン番号Bを受ける。そして、色相差計算回路1330は、図14に示すHueビン番号の割当図を参照して、その受けたHueビン番号AおよびHueビン番号Bに対応するHue値HA,HBを検出する。そうすると、色相差計算回路1330は、色相差|HA−HB|を演算し、その演算した色相差|HA−HB|を結合重み修正回路1350へ出力する。
The hue
彩度差計算回路1340は、図16に示すSビン番号の割当図を保持しており、Dラッチ回路127およびFIFO回路128からそれぞれSビン番号AおよびSビン番号Bを受ける。そして、彩度差計算回路1340は、図16に示すSビン番号の割当図を参照して、その受けたSビン番号AおよびSビン番号Bに対応するS値SA,SBを検出する。この検出されたS値SA,SBは、256階調に規格化された値である。そうすると、彩度差計算回路1340は、彩度差|SA−SB|を演算し、その演算した彩度差|SA−SB|を結合重み修正回路1360へ出力する。
The saturation
結合重み修正回路1350は、表3を保持しており、結合重み演算回路1320から結合重みWA,Bを受け、色相差計算回路1330から色相差|HA−HB|を受ける。そして、結合重み修正回路1350は、表3を参照して、結合重みWA,Bに一致する絶対値|Iij−Ikl|を抽出する。
The combination
その後、結合重み修正回路1350は、その抽出した絶対値|Iij−Ikl|が表3に示す1xxx_xxxx,0000_1xxx,0000_01xx,0000_001x,0000_000xのいずれかである場合、1xxx_xxxx,0000_1xxx,0000_01xx,0000_001x,0000_000xに対応する結合重みWA,B_Hを表3から抽出し、その抽出した結合重みWA,B_Hをセレクタ380へ出力する。 After that, when the extracted absolute value | I ij −I kl | connection weight W a corresponding to 0000_000X, extracting B _H from Table 3, and outputs the extracted connection weight W a, the B _H to the selector 380.
また、結合重み修正回路1350は、その抽出した絶対値|Iij−Ikl|が表3に示す01xx_xxxx,001x_xxxx,0001_xxxxのいずれかである場合、色相差|HA−HB|が○以下であるか否かを判定し、色相差|HA−HB|が○以下である場合、色相差|HA−HB|が○以下の場合の結合重みWA,B_H(○)を表3から抽出する。
In addition, when the extracted absolute value | I ij −I kl | is any one of 01xxx_xxxx, 001x_xxxx, and 0001_xxxx shown in Table 3, the connection
より具体的には、結合重み修正回路1350は、その抽出した絶対値|Iij−Ikl|が表3に示す01xx_xxxxである場合、色相差|HA−HB|が“4度”以下であるか否かを判定し、色相差|HA−HB|が“4度”以下である場合、16からなる結合重みWA,B_Hを表3から抽出し、その抽出した結合重みWA,B_H(=16)をセレクタ380へ出力する。一方、結合重み修正回路350は、色相差|HA−HB|が“4度”以下でない場合、4からなる結合重みWA,B_Hを表3から抽出し、その抽出した結合重みWA,B_H(=4)をセレクタ1380へ出力する。
More specifically, when the extracted absolute value | I ij −I kl | is 01xxx_xxxx shown in Table 3, the coupling
また、結合重み修正回路1350は、その抽出した絶対値|Iij−Ikl|が表3に示す001x_xxxxである場合、色相差|HA−HB|が“4度”以下であるか否かを判定し、色相差|HA−HB|が“4度”以下である場合、32からなる結合重みWA,B_Hを表3から抽出し、その抽出した結合重みWA,B_H(=32)をセレクタ1380へ出力する。一方、結合重み修正回路1350は、色相差|HA−HB|が“4度”以下でない場合、色相差|HA−HB|が“8度”以下であるか否かをさらに判定し、色相差|HA−HB|が“8度”以下である場合、16からなる結合重みWA,B_Hを表3から抽出し、その抽出した結合重みWA,B_H(=16)をセレクタ1380へ出力する。一方、結合重み修正回路1350は、色相差|HA−HB|が“8度”以下でない場合、8からなる結合重みWA,B_Hを表3から抽出し、その抽出した結合重みWA,B_H(=8)をセレクタ1380へ出力する。
Further, when the extracted absolute value | I ij −I kl | is 001x_xxxx shown in Table 3, the connection
さらに、結合重み修正回路1350は、その抽出した絶対値|Iij−Ikl|が表3に示す0001_xxxxである場合、色相差|HA−HB|が“4度”以下であるか否かを判定し、色相差|HA−HB|が“4度”以下である場合、32からなる結合重みWA,B_Hを表3から抽出し、その抽出した結合重みWA,B_H(=32)をセレクタ1380へ出力する。一方、結合重み修正回路1350は、色相差|HA−HB|が“4度”以下でない場合、16からなる結合重みWA,B_Hを表3から抽出し、その抽出した結合重みWA,B_H(=16)をセレクタ1380へ出力する。
Further, when the extracted absolute value | I ij −I kl | is 0001_xxxx shown in Table 3, the connection
結合重み修正回路1360は、表2を保持しており、結合重み演算回路1320から結合重みWA,Bを受け、彩度差計算回路1340から彩度差|SA−SB|を受ける。そして、結合重み修正回路1360は、表2を参照して、結合重みWA,Bに一致する絶対値|Iij−Ikl|を抽出する。
The combination
また、結合重み修正回路1360は、彩度差|SA−SB|が“6”以下であるか否かを判定し、彩度差|SA−SB|が“6”以下である場合、結合重みWA,Bに一致する絶対値|Iij−Ikl|と、“if≦6”とに対応する結合重みWA,B_Sを表2から抽出し、その抽出した結合重みWA,B_Sをセレクタ1380へ出力する。
Further, the connection
一方、結合重み修正回路1360は、彩度差|SA−SB|が“6”以下でない場合、彩度差|SA−SB|が“9”以下であるか否かをさらに判定し、彩度差|SA−SB|が“9”以下である場合、結合重みWA,Bに一致する絶対値|Iij−Ikl|と、“else if≦9”とに対応する結合重みWA,B_Sを表2から抽出し、その抽出した結合重みWA,B_Sをセレクタ1380へ出力する。
On the other hand, when the saturation difference | S A −S B | is not “6” or less, the connection
一方、結合重み修正回路1360は、彩度差|SA−SB|が“9”以下でない場合、彩度差|SA−SB|が“12”以下であるか否かをさらに判定し、彩度差|SA−SB|が“12”以下である場合、結合重みWA,Bに一致する絶対値|Iij−Ikl|と、“else if≦12”とに対応する結合重みWA,B_Sを表2から抽出し、その抽出した結合重みWA,B_Sをセレクタ1380へ出力する。
On the other hand, when the saturation difference | S A −S B | is not “9” or less, the connection
一方、結合重み修正回路1360は、彩度差|SA−SB|が“12”以下でない場合、結合重みWA,Bに一致する絶対値|Iij−Ikl|と、“else”とに対応する結合重みWA,B_Sを表2から抽出し、その抽出した結合重みWA,B_Sをセレクタ1380へ出力する。
On the other hand, when the saturation difference | S A −S B | is not equal to or less than “12”, the connection
セレクタ信号生成回路1370は、しきい値Sth(=0.2)および図16に示すSビン番号の割当図を保持しており、Dラッチ回路127およびFIFO回路128からそれぞれSビン番号AおよびSビン番号Bを受ける。そして、セレクタ信号生成回路1370は、図16に示すSビン番号の割当図を参照して、その受けたSビン番号AおよびSビン番号Bに対応するS値SA,SBを検出する。
The selector
そうすると、セレクタ信号生成回路1370は、その検出した2つのS値SA,SBをしきい値Sthと比較する。そして、セレクタ信号生成回路1370は、2つのS値SA,SBの両方がしきい値Sth以下であるとき、結合重み演算回路1320から受けた結合重みWA,Bを選択するためのセレクタ信号SEL_RGBを生成し、その生成したセレクタ信号SEL_RGBをセレクタ1380へ出力する。
Then, selector
また、セレクタ信号生成回路1370は、2つのS値SA,SBのいずれか一方がしきい値Sth以下であるとき、結合重み修正回路1360から受けた結合重みWA,B_Sを選択するためのセレクタ信号SEL_Sを生成し、その生成したセレクタ信号SEL_Sをセレクタ1380へ出力する。
The selector
さらに、セレクタ信号生成回路1370は、2つのS値SA,SBの両方がしきい値Sthよりも大きいとき、結合重み修正回路1350から受けた結合重みWA,B_Hを選択するためのセレクタ信号SEL_Hを生成し、その生成したセレクタ信号SEL_Hをセレクタ1380へ出力する。
Further, the selector
セレクタ1380は、結合重み演算回路1320から結合重みWA,Bを受け、結合重み修正回路1350,1360からそれぞれ結合重みWA,B_H,WA,B_Sを受ける。そして、セレクタ1380は、セレクタ信号生成回路1370からセレクタ信号SEL_RGBを受けると、結合重みWA,Bを選択し、その選択した結合重みWA,Bを結合重みCWとして出力する。また、セレクタ1380は、セレクタ信号生成回路1370からセレクタ信号SEL_Sを受けると、結合重みWA,B_Sを選択し、その選択した結合重みWA,B_Sを結合重みCWとして出力する。さらに、セレクタ1380は、セレクタ信号生成回路1370からセレクタ信号SEL_Hを受けると、結合重みWA,B_Hを選択し、その選択した結合重みWA,B_Hを結合重みCWとして出力する。
The
図2に示す重み計算ユニット133は、図24に示す重み計算ユニット132と同じ構成からなり、Dラッチ回路121,124から受けたRGB値RGBA,RGBBと、Dラッチ回路126,129から受けたHueビン番号A、Hueビン番号B、Sビン番号A、およびSビン番号Bに基づいて、重み計算ユニット132と同じ方法によって、結合重みWA,B,WA,B_H,WA,B_Sを演算し、その演算した結合重みWA,B,WA,B_H,WA,B_Sのいずれかを結合重みCWとして選択して出力する。
The
また、図2に示す重み計算ユニット134は、図24に示す重み計算ユニット132と同じ構成からなり、Dラッチ回路124から受けたRGB値RGBAと、Dラッチ回路129から受けたHueビン番号AおよびSビン番号Aと、選択器130から受けたRGB値RGBB、Hueビン番号BおよびSビン番号Bとに基づいて、重み計算ユニット132と同じ方法によって、結合重みWA,B,WA,B_H,WA,B_Sを演算し、その演算した結合重みWA,B,WA,B_H,WA,B_Sのいずれかを結合重みCWとして選択して出力する。
2 has the same configuration as the
さらに、図2に示す重み計算ユニット135は、図24に示す重み計算ユニット132と同じ構成からなり、Dラッチ回路121から受けたRGB値RGBAと、Dラッチ回路126から受けたHueビン番号AおよびSビン番号Aと、選択器131から受けたRGB値RGBB、Hueビン番号BおよびSビン番号Bとに基づいて、重み計算ユニット132と同じ方法によって、結合重みWA,B,WA,B_H,WA,B_Sを演算し、その演算した結合重みWA,B,WA,B_H,WA,B_Sのいずれかを結合重みCWとして選択して出力する。
Further, the
画像分割回路13における画像の分割方法について説明する。図25は、画像の分割方法を説明するための図である。画像分割回路13は、領域成長型画像分割方法によって1つのフレームを各対象物の画像に分割する。
An image dividing method in the
この領域成長型画像分割方法は、LEGIONモデル(D. L. Wang, and D. Terman, “Image segmentation based on oscillator correlation,” Neural Computation, Volume 9(4), pp. 805-836(1997).)の振動子ネットワークの各画素に対する振動子の振る舞いを自己発火(Self−Excitation)、自己発火可能(Self−Excitable)、発火(Excitation)および鎮火(Inhibition)という4つの状態で取り扱うものである。そして、この領域成長型画像分割方法は、初期化、自己発火、発火、および鎮火の4つのステップからなる。 This region-growing image segmentation method is based on the LEGION model (DL Wang, and D. Terman, “Image segmentation based on oscillator correlation,” Neural Computation, Volume 9 (4), pp. 805-836 (1997).) The behavior of the vibrator for each pixel of the child network is handled in four states: self-ignition, self-ignitable (self-excitable), ignition (excitation), and suppression (inhibition). This region-growing image segmentation method includes four steps of initialization, self-ignition, ignition, and suppression.
画像分割回路13は、図25の(a)に示す3×3の構成からなる入力画像を受ける。そして、画像分割回路13は、入力画像を構成する9個の画素における画素間の8個の結合重みCW1〜CW8を結合重み決定回路12から受け、その受けた8個の結合重みCW1〜CW8を各画素間に対応付けてメモリに保持する。なお、図25の(b)においては、(2,2)の画素と周囲の画素との8個の結合重みが図示されている。
The
そうすると、画像分割回路13は、メモリに保持された8個の結合重みCW1〜CW8を読み出し、その読み出した8個の結合重みCW1〜CW8の和SUM(CW)を演算する。そして、画像分割回路13は、その演算した和SUM(CW)がリーダセルを決定するためのしきい値φPよりも大きいか否かを判定する。なお、この出願においては、SUMは、数学におけるシグマ記号によって表される和を演算することを意味する。
Then, the
画像分割回路13は、和SUM(CW)がしきい値φPよりも大きいと判定したとき、結合重みの計算の中心となった画素をリーダセルに設定し、リーダセルフラグpij=1を設定する。一方、画像分割回路3は、和SUM(CW)がしきい値φP以下であると判定したとき、結合重みの計算の中心となった画素をリーダセルに設定せず、リーダセルフラグpij=0を設定する。
画像分割回路13は、この処理を入力画像の9個の画素の各々を結合重みの計算の中心となる画素に設定して実行し、リーダセルを決定する(図25の(c)参照)。
The
その後、画像分割回路13は、リーダセルの1つを自己発火させる(発火フラグxij=1)(図25の(d)参照)。そして、画像分割回路3は、各セル(i,j)に隣接する8個の画素に対応するセル(k,l)∈Nijが発火していれば、セル(i,j)とセル(k,l)との間の結合重みの和SUM(k,l)∈Nij∧xkl=1Wij;klを演算し、その演算した和SUM(k,l)∈Nij∧xkl=1Wij;klがしきい値φZよりも大きく、かつ、まだ、セル(i,j)がどの分割領域にも属していない(ラベルフラグlij=0)場合に、自動的に発火(xij=1)させる(引火・領域成長)(図25の(e)参照)。この引火処理によって、領域が広がっていき、図25の(f)に示すように、新たに発火するセルが存在しなくなると、1領域の分割が終了する。
Thereafter, the
その後、画像分割回路13は、この分割された領域を保存するために、図25の(g)に示すように、発火しているセルへ分割領域識別のためのラベル番号を書き込み、発火したセルが既に分割されたセルであることを示すラベルフラグをセットし(lij=1)、鎮火処理(xij=0,pij=0)を行なう。
Thereafter, the
画像分割回路13は、鎮火処理が終了すると、再び、次の領域の分割のための自己発火の処理に戻る。そして、画像分割回路13は、リーダセルが存在しなくなるまで、上述した処理を繰り返し実行し、各領域を分割する。そして、画像分割回路13は、全てのリーダセルが発火した後、全ての領域にラベル付けを行ない、1フレームの画像の分割を終了する(図25の(h)参照)。
When the extinguishing process is completed, the
図1に示す追跡ユニット2における動作について説明する。図26は、追跡物体を得るための概念図である。図26を参照して、画像分割ユニット1は、入力画像(図26の(a)参照)を上述した方法によって複数の分割画像に分割し、その分割した複数の分割画像を追跡ユニット2へ出力する。
The operation in the
追跡ユニット2は、画像分割ユニット1の画像分割回路13から複数の分割画像を受け、その受けた複数の分割画像によって表されている複数の分割物体を静止物体と移動物体とに分類する。より具体的には、追跡ユニット2は、t−1(tは、2以上の整数)番目のフレームF(t−1)を分割して得られた複数の分割画像DG1(t−1)〜DGm(t−1)(mは2以上の整数)を画像分割回路13から受けると、その受けた複数の分割画像DG1(t−1)〜DGm(t−1)によって表される複数の分割物体OJ1(t−1)〜OJm(t−1)の特徴量を抽出して記憶する。この場合、追跡ユニット2は、特徴量として、各分割物体OJ1(t−1)〜OJm(t−1)の位置、サイズ(幅および高さ)、色(R,G,B)、面積および推定位置を抽出する。
The
その後、追跡ユニット2は、t番目のフレームF(t)を分割して得られた複数の分割画像DG1(t)〜DGm(t)を画像分割回路13から受けると、その受けた複数の分割画像DG1(t)〜DGm(t)によって表される複数の分割物体OJ1(t)〜OJm(t)の特徴量を抽出して記憶する。
Thereafter, when the
そうすると、追跡ユニット2は、内蔵した連想メモリによって、分割物体OJ1(t−1)〜OJm(t−1)の特徴量と分割物体OJ1(t)〜OJm(t)の特徴量とを用いて、分割物体OJ1(t−1)〜OJm(t−1)と分割物体OJ1(t)〜OJm(t)とのオブジェクトマッチングを行なう。たとえば、追跡ユニット2は、分割物体OJ1(t−1)〜OJm(t−1)の特徴量とのマンハッタン距離が最小となる特徴量を有する分割物体OJ1(t)〜OJm(t)を検出することによって分割物体OJ1(t−1)〜OJm(t−1)と分割物体OJ1(t)〜OJm(t)とのオブジェクトマッチングを行なう。
Then, the
そして、追跡ユニット2は、オブジェクトマッチングした分割物体OJ1(t−1),OJ1(t)の位置に基づいて、分割物体OJ1(t)の動きベクトルMV1(t)を求める。追跡ユニット2は、分割物体OJ2(t)〜OJm(t)の各々についても、動きベクトルMV2(t)〜MVm(t)を求める。
Then, the
その後、追跡ユニット2は、その求めた動きベクトルMV1(t)〜MVm(t)に基づいて、大きさが“1”以上である動きベクトルを有する分割物体を移動物体とし、大きさが“1”よりも小さい動きベクトルを有する分割物体を静止物体として分割物体OJ1(t)〜OJm(t)を移動物体と静止物体とに分類する。
Thereafter, the
引き続いて、追跡ユニット2は、移動物体が得られると(図26の(b)参照)、その得られた移動物体を後述する方法によってグループ化し、追跡物体(図26の(c)参照)を認識する。
Subsequently, when the
追跡ユニット2は、新たなフレームを分割して得られた複数の分割画像を画像分割ユニット1の画像分割回路13から受けるごとに、上述した方法によって、追跡物体を認識する。
Each time the
図27は、分割物体の動きベクトルおよび推定位置を求める方法を説明するための図である。図27を参照して、追跡ユニット2は、複数の分割画像DG1(t−1)〜DGm(t−1)を画像分割回路13から受けると、その受けた複数の分割画像DG1(t−1)〜DGm(t−1)の各々において、分割物体に内接するボックスBiを生成する。ボックスBiは、4個の頂点A,B,C,Dを有し、図27に示すx−y座標系において、頂点Aは、座標(Xxmin,Yymin)を有し、頂点Bは、座標(Xxmin,Yymax)を有し、頂点Cは、座標(Xxmax,Yymax)を有し、頂点Dは、座標(Xxmax,Yymin)を有する。
FIG. 27 is a diagram for explaining a method for obtaining a motion vector and an estimated position of a divided object. Referring to FIG. 27, when the
追跡ユニット2は、ボックスBiを生成すると、その生成したボックスBiの4個の頂点A,B,C,Dの座標に基づいて、ボックスBiの中心位置を求め、その求めた中心位置を分割物体(=Segment i)の位置とする。また、追跡ユニット2は、ボックスBiの4個の頂点A,B,C,Dの座標に基づいて、分割物体(=Segment i)のサイズ(幅および高さ)を求める。さらに、追跡ユニット2は、分割画像DG1(t−1)〜DGm(t−1)の各々において、分割物体(=Segment i)のRGB値と面積とを検出する。
When the
追跡ユニット2は、複数の分割画像DG1(t)〜DGm(t)を画像分割回路13から受けると、その受けた複数の分割画像DG1(t)〜DGm(t)の各々において、同様にして、分割物体(=Segment i)の位置、サイズ(幅および高さ)、RGB値、および面積を求める。
When the
その後、追跡ユニット2は、上述したオブジェクトマッチングを行ない、分割画像DG1(t−1)における分割物体OJ1(t−1)の位置と、分割画像DG1(t)における分割物体OJ1(t)の位置とに基づいて、分割物体OJ1(t)の動きベクトルMV1(t)を求める。追跡ユニット2は、同様にして、分割物体OJ2(t)〜OJm(t)の動きベクトルMV2(t)〜MVm(t)を求める。
After that, the
そうすると、追跡ユニット2は、その求めた動きベクトルMV1(t)〜MVm(t)を分割画像DG1(t)〜DGm(t)における分割物体Segment_1〜Segment_mの位置に加算することによって分割物体Segment_1〜Segment_mの推定位置を求める。そして、追跡ユニット2は、分割物体(=Segment i)の位置、サイズ(幅および高さ)、RGB値、面積および推定位置を分割物体(=Segment i)の特徴量として記憶する。
Then, the
図28は、分割物体のグループ化に必要なバウンディングボックスの定義を示す図である。図28を参照して、追跡ユニット2は、上述した方法によってボックスBiを生成すると、その生成したボックスBiにマージンmarginを加えたボックスをバウンディングボックスBBiとして定義する。
FIG. 28 is a diagram illustrating a definition of a bounding box necessary for grouping divided objects. Referring to FIG. 28, when the
このバウンディングボックスBBiは、図28に示すx−y座標系において、座標(Xxmax+margin,Yymin−margin)からなる頂点Pmax,iと、座標(Xxmin−margin,Yymax+margin)からなる頂点Pmin,iとを有する。 This bounding box BBi consists of a vertex P max, i consisting of coordinates (X xmax + margin, Y ymin -margin) and coordinates (X xmin -margin, Y ymax + margin) in the xy coordinate system shown in FIG. It has a vertex P min, i .
このように、ボックスBiにマージンmarginを付加したボックスをバウンディングボックスBBiとするのは、画像分割によって物体の境界部分の領域が本来の物体の境界部分の領域よりも粗くなり、分割物体が本来の大きさよりも縮小されるため、これを補完するためである。 In this way, the box with the margin margin added to the box Bi is defined as the bounding box BBi because the boundary area of the object becomes rougher than the boundary area of the original object due to image division, This is to compensate for this because it is smaller than the size.
ボックスBiの中心位置は、バウンディングボックスBBiの中心位置と一致するので、分割物体(=Segment i)の位置は、バウンディングボックスBBiの中心位置と一致する。したがって、動きベクトルMVは、バウンディングボックスBBiの中心位置を起点として求められることになる。 Since the center position of the box Bi matches the center position of the bounding box BBi, the position of the divided object (= Segment i) matches the center position of the bounding box BBi. Therefore, the motion vector MV is obtained starting from the center position of the bounding box BBi.
追跡ユニット2は、分割画像DG1(t)〜DGm(t)における分割物体OJ1(t)〜OJm(t)のバウンディングボックスBB1〜BBmを求めると、分割物体OJ1(t)〜OJm(t)を移動物体と静止物体とに分類し、移動物体に分類された分割物体のいずれかを注目物体SOJとして選択するとともに、注目物体SOJに類似する分割物体を残りの移動物体(移動物体MOJ1(t)〜MOJn(t)≠SOJ)から検出する。
When the
この場合、追跡ユニット2は、注目物体SOJの動きベクトルに類似する動きベクトルを有し、かつ、注目物体SOJのバウンディングボックスと交差するバウンディングボックスを有する分割物体を注目物体SOJに類似する物体として検出する。
In this case, the
そして、追跡ユニット2は、2つの動きベクトルが類似するか否かを次の方法によって判定する。すなわち、追跡ユニット2は、2つの動きベクトルの差を演算し、その演算した差がしきい値以下であるとき、2つの動きベクトルが類似すると判定し、その演算した差がしきい値よりも大きいとき、2つの動きベクトルが類似しないと判定する。
Then, the
図29は、バウンディングボックスの交差を示す概念図である。図29を参照して、バウンディングボックスBB1は、頂点max1,min1を有し、バウンディングボックスBB2は、頂点max2,min2を有する。 FIG. 29 is a conceptual diagram showing the intersection of bounding boxes. Referring to FIG. 29, bounding box BB1 has vertices max1 and min1, and bounding box BB2 has vertices max2 and min2.
そして、頂点max1のx座標max1_xが頂点min2のx座標min2_x以上であり(max1_x≧min2_x)、かつ、頂点min1のx座標min1_xが頂点max2のx座標max2_x以下であり(min1_x≦max2_x)、かつ、頂点max1のy座標max1_yが頂点min2のy座標min2_y以上であり(max1_y≧min2_y)、かつ、頂点min1のy座標min1_yが頂点max2のy座標max2_y以下であるとき(min1_y≦max2_y)、2つのバウンディングボックスBB1,BB2は、相互に交差する。 The x coordinate max1_x of the vertex max1 is not less than the x coordinate min2_x of the vertex min2 (max1_x ≧ min2_x), the x coordinate min1_x of the vertex min1 is not more than the x coordinate max2_x of the vertex max2 (min1_x ≦ max2_x), and When the y coordinate max1_y of the vertex max1 is not less than the y coordinate min2_y of the vertex min2 (max1_y ≧ min2_y) and the y coordinate min1_y of the vertex min1 is less than or equal to the y coordinate max2_y of the vertex max2 (min1_y ≦ max2_y), two boundings Boxes BB1 and BB2 intersect each other.
したがって、追跡ユニット2は、max1_x≧min2_x、min1_x≦max2_x、max1_y≧min2_yおよびmin1_y≦max2_yの4個の不等式が同時に成立するとき、2つのバウンディングボックスBB1,BB2が交差すると判定し、max1_x≧min2_x、min1_x≦max2_x、max1_y≧min2_yおよびmin1_y≦max2_yの4個の不等式の少なくとも1つが成立しないとき、2つのバウンディングボックスBB1,BB2が交差しないと判定する。
Therefore, the
追跡ユニット2は、まず、上述した方法によって、注目物体SOJのバウンディングボックスが注目物体SOJ以外の他の分割物体のバウンディングボックスと交差するか否かを判定する。そして、追跡ユニット2は、注目物体SOJのバウンディングボックスが他の分割物体のバウンディングボックスと交差しないと判定したとき、他の分割物体が注目物体SOJに類似しないと判定する。
The
一方、追跡ユニット2は、注目物体SOJのバウンディングボックスが他の移動物体のバウンディングボックスと交差すると判定したとき、注目物体SOJの動きベクトルと他の移動物体の動きベクトルとが類似するか否かをさらに判定する。そして、追跡ユニット2は、注目物体SOJの動きベクトルと他の移動物体の動きベクトルとが類似するとき、他の移動物体が注目物体SOJに類似すると判定し、注目物体SOJおよび他の移動物体に同じグループ番号を与えて注目物体SOJおよび他の移動物体をグループ化する。
On the other hand, when the
一方、追跡ユニット2は、注目物体SOJの動きベクトルと他の移動物体の動きベクトルとが類似しないとき、他の移動物体が注目物体SOJに類似しないと判定する。
On the other hand, the
追跡ユニット2は、この処理を注目物体SOJと、注目物体SOJ以外の他の移動物体の全てとについて実行し、グループ化を行なう。
The
追跡ユニット2は、たとえば、図26の(b)に示す車の3個の窓および車の天井からなる4個の移動物体を上述した方法によってグループ化し、追跡対象である車(図26の(c)参照)を認識する。
The
図30は、この発明の実施の形態による物体追跡方法を説明するためのフローチャートである。 FIG. 30 is a flowchart for explaining the object tracking method according to the embodiment of the present invention.
図30を参照して、物体追跡の動作が開始されると、物体追跡装置10の画像分割ユニット1は、フレームを読み込み(ステップS1)、その読み込んだフレームを上述した方法によって画像分割する(ステップS2)。そして、画像分割ユニット1は、その分割した分割画像を追跡ユニット2へ出力する。
Referring to FIG. 30, when the object tracking operation is started, the
追跡ユニット2は、画像分割ユニット1から分割画像を受け、その受けた分割画像に表された各分割物体の特徴量を抽出し(ステップS3)、その抽出した特徴量を記憶する。
The
そして、追跡ユニット2は、処理をしているフレームが1番目のフレームか否かを判定し(ステップS4)、処理をしているフレームが1番目のフレームであるとき、フレームの読込が有るか否かをさらに判定する(ステップS5)。
Then, the
ステップS5において、フレームの読込が無いと判定されたとき、一連の動作は、終了する。 When it is determined in step S5 that no frame is read, the series of operations ends.
一方、ステップS5において、フレームの読込が有ると判定されたとき、一連の動作は、ステップS2へ戻り、上述したステップS2〜ステップS5が繰返し実行される。 On the other hand, when it is determined in step S5 that the frame is read, the series of operations returns to step S2, and the above-described steps S2 to S5 are repeatedly executed.
一方、ステップS4において、処理しているフレームが1番目のフレームでないと判定されたとき、追跡ユニット2は、上述した方法によって、フレーム間における各分割物体のオブジェクトマッチングを行なう(ステップS6)。そして、追跡ユニット2は、オブジェクトマッチングされた分割物体の動きベクトルを求め、その求めた動きベクトルを分割物体の位置に加算して分割物体の推定位置を計算する(ステップS7)。
On the other hand, when it is determined in step S4 that the frame being processed is not the first frame, the
その後、追跡ユニット2は、動きベクトルおよびバウンディングボックスを用いてグループ化を行ない(ステップS8)、グループ情報を出力する(ステップS9)。
Thereafter, the
そして、追跡ユニット2は、フレームの読込が有るか否かを判定する(ステップS10)。ステップS10において、フレームの読込が有ると判定されたとき、一連の動作は、ステップS2へ戻り、ステップS10において、フレームの読込が無いと判定されるまで、上述したステップS2〜ステップS10が繰返し実行される。
Then, the
そして、ステップS10において、フレームの読込が無いと判定されたとき、一連の動作は、終了する。 When it is determined in step S10 that no frame is read, the series of operations ends.
図31は、図30のステップS2の詳細な動作を説明するためのフローチャートである。図31を参照して、図30のステップS1の後、画素値検出回路11は、n×n(nは、2以上の整数)からなる入力画像の各画素GEij(1≦i≦n,1≦j≦n)のRGB値RGBij(1≦i≦n,1≦j≦n)を検出し(ステップS21)、その検出した各画素のRGB値RGBijを結合重み決定回路12へ出力する。
FIG. 31 is a flowchart for explaining the detailed operation of step S2 of FIG. Referring to FIG. 31, after step S <b> 1 in FIG. 30, the pixel
結合重み決定回路12は、画素値検出回路11から各画素GEij(1≦i≦n,1≦j≦n)のRGB値RGBij(1≦i≦n,1≦j≦n)を受け、その受けた各画素GEij(1≦i≦n,1≦j≦n)のRGB値RGBij(1≦i≦n,1≦j≦n)を上述した方法によって色相Hij(1≦i≦n,1≦j≦n)および彩度Sij(1≦i≦n,1≦j≦n)に変換し、RGB値RGBij(1≦i≦n,1≦j≦n)、色相Hij(1≦i≦n,1≦j≦n)および彩度Sij(1≦i≦n,1≦j≦n)に基づいて、各画素間の結合重みWij;kl(1≦i≦n,1≦j≦n,1≦k≦n,1≦l≦n)を決定する(ステップS22)。そして、結合重み決定回路12は、その決定した各画素間の結合重みWij;kl(1≦i≦n,1≦j≦n,1≦k≦n,1≦l≦n)を画像分割回路13へ出力する。
The combination
画像分割回路13は、外部から入力画像を受け、結合重み決定回路12から各画素間の結合重みWij;kl(1≦i≦n,1≦j≦n,1≦k≦n,1≦l≦n)を受ける。そして、画像分割回路13は、その受けた各画素間の結合重みWij;kl(1≦i≦n,1≦j≦n,1≦k≦n,1≦l≦n)を用いて1フレームの画像を分割する(ステップS23)。そして、一連の動作は、図30のステップS3へ移行する。
The
図32は、図31に示すステップS22の詳細な動作を説明するためのフローチャートである。なお、図32においては、図3に示す画素GE1を画素GEijとし、画素GE2を画素GEklとし、画素GE3を画素GEi+1,jとし、画素GE4を画素GEk+1,lとしてステップS2の詳細な動作を説明する。 FIG. 32 is a flowchart for explaining the detailed operation of step S22 shown in FIG. 32, the pixel GE1 shown in FIG. 3 is the pixel GE ij , the pixel GE2 is the pixel GE kl , the pixel GE3 is the pixel GE i + 1, j , the pixel GE4 is the pixel GE k + 1, l , and the details of step S2 The operation will be described.
図32を参照して、図31に示すステップS21の後、結合重み決定回路12は、画素値検出回路11から複数の画素GEij(1≦i≦n,1≦j≦n)の複数のRGB値RGBij(1≦i≦n,1≦j≦n)を順次受ける。そして、結合重み決定回路12は、i=1,j=1,k=1,l=1を設定する(ステップS221)。
Referring to FIG. 32, after step S <b> 21 shown in FIG. 31, the connection
そして、結合重み決定回路12は、入力画像の複数の画素GEij(1≦i≦n,1≦j≦n)のうち、画素値検出回路11から順次入力される隣接する2つの画素GEij,GEkl(1≦k≦n,1≦l≦n)を選択する(ステップS222)。
Then, the connection
その後、結合重み決定回路12は、HS変換回路125によって、画素GEijのRGB値RGBijを上述した方法によって色相Hijおよび彩度Sijに変換し(ステップS223)、画素GEklのRGB値RGBklを上述した方法によって色相Hklおよび彩度Sklに変換する(ステップS224)。
Thereafter, the combination
そして、結合重み決定回路12において、4組の隣接画素GEij,GEkl;GEi+1,j,GEkl;GEij,GEk+1,l;GEi+1,j,GEk+1,lのRGB値が色相および彩度に変換されたか否かが判定される(ステップS225)。
In the connection
ステップS225において、4組の隣接画素GEij,GEkl;GEi+1,j,GEkl;GEij,GEk+1,l;GEi+1,j,GEk+1,lのRGB値が色相および彩度に変換されていないと判定されたとき、i,kのいずれかまたは両方が“1”だけ変化される(ステップS226)。その後、一連の動作は、ステップS222へ戻り、ステップS225において、4組の隣接画素GEij,GEkl;GEi+1,j,GEkl;GEij,GEk+1,l;GEi+1,j,GEk+1,lのRGB値が色相および彩度に変換されたと判定されるまで、ステップS222〜ステップS226が繰り返し実行される。 In step S225, the RGB values of four sets of adjacent pixels GE ij , GE kl ; GE i + 1, j , GE kl ; GE ij , GE k + 1, l ; GE i + 1, j , GE k + 1, l are converted to hue and saturation. When it is determined that it has not been performed, either or both of i and k are changed by “1” (step S226). Thereafter, the series of operations returns to step S222, and in step S225, four sets of adjacent pixels GE ij , GE kl ; GE i + 1, j , GE kl ; GE ij , GE k + 1, l ; GE i + 1, j , GE k + 1 , L are determined to have been converted into hue and saturation, steps S222 to S226 are repeatedly executed.
そして、ステップS225において、4組の隣接画素GEij,GEkl;GEi+1,j,GEkl;GEij,GEk+1,l;GEi+1,j,GEk+1,lのRGB値が色相および彩度に変換されたと判定されると、結合重み決定回路12の4個の重み計算ユニット132〜135は、平行して隣接画素間の結合重みを決定する(ステップS227〜ステップS230)。
In step S225, the RGB values of the four sets of adjacent pixels GE ij , GE kl ; GE i + 1, j , GE kl ; GE ij , GE k + 1, l ; GE i + 1, j , GE k + 1, l are converted to hue and saturation. If it is determined that the weight is converted to, the four
この場合、重み計算ユニット132は、画素GEkl,GEi+1,j間の結合重みWk,l;i+1,jを決定し、重み計算ユニット133は、画素GEij,GEk+1,l間の結合重みWij;k+1,lを決定し、重み計算ユニット134は、画素GEij,GEkl間の結合重みWij;klを決定し、重み計算ユニット135は、画素GEi+1,j,GEk+1,l間の結合重みWi+1,j;k+1,lを決定する。
In this case, the
ステップS227〜ステップS230の後、結合重み決定回路12において、i=n、かつ、j=nであるか否かが判定され(ステップS231)、i=n、かつ、j=nでないとき、i,jのいずれかまたは両方が“1”だけ変化され(ステップS232)、k=1およびl=1が設定される(ステップS233)。
After step S227 to step S230, the connection
その後、一連の動作は、ステップS222へ戻り、ステップS231において、i=n、かつ、j=nであると判定されるまで、ステップS222〜ステップS233が繰り返し実行される。 Thereafter, the series of operations returns to step S222, and steps S222 to S233 are repeatedly executed until it is determined in step S231 that i = n and j = n.
そして、ステップS231において、i=n、かつ、j=nであると判定されると、一連の動作は、図31のステップS23へ移行する。 If it is determined in step S231 that i = n and j = n, the series of operations proceeds to step S23 in FIG.
図33は、図32に示すステップS227の詳細な動作を説明するためのフローチャートである。図33を参照して、図32のステップS225の“YES”の後、重み計算ユニット132の結合重み演算回路1320は、FIFO回路123から受けたRGB値RGBklと、Dラッチ回路122から受けたRGB値RGBi+1,jとに基づいて、上述した方法によって、画素GEkl,GEi+1,j間の結合重みWi+1,j;kl_RGBを決定し、その決定した結合重みWi+1,j;kl_RGBを結合重み修正回路1350,1360およびセレクタ1380へ出力する。
FIG. 33 is a flowchart for explaining the detailed operation of step S227 shown in FIG. Referring to FIG. 33, after “YES” in step S225 of FIG. 32, the combined
また、色相差計算回路1330は、FIFO回路128から画素GEklのHueビン番号Aを受け、Dラッチ回路127から画素GEi+1,jのHueビン番号Bを受ける。そして、色相差計算回路1330は、図14に示すHueビン番号の割当図を参照して、Hueビン番号Aに対応する色相Hklを抽出し、Hueビン番号Bに対応する色相Hi+1,jを抽出する。
The hue
そうすると、色相差計算回路1330は、色相Hklと色相Hi+1,jとの色相差|Hkl−Hi+1,j|を演算し、その演算した色相差|Hkl−Hi+1,j|を結合重み修正回路1350へ出力する。
Then, the hue
結合重み修正回路1350は、色相差計算回路1330から色相差|Hkl−Hi+1,j|を受け、結合重み演算回路1320から結合重みWi+1,j;kl_RGBを受ける。そして、結合重み修正回路1350は、表3を参照して、結合重みWi+1,j;kl_RGBおよび色相差|Hkl−Hi+1,j|に基づいて、上述した方法によって結合重みWi+1,j;kl_Hを抽出し、その抽出した結合重みWi+1,j;kl_Hをセレクタ1380へ出力する。
The combination
さらに、彩度差計算回路1340は、FIFO回路128から画素GEklのSビン番号Aを受け、Dラッチ回路127から画素GEi+1,jのSビン番号Bを受ける。
Further, the saturation
そして、彩度差計算回路1340は、図16に示すSビン番号の割当図を参照して、Sビン番号Aに対応する彩度Sklを抽出し、Sビン番号Bに対応する彩度Si+1,jを抽出する。
Then, the saturation
そうすると、彩度差計算回路1340は、彩度Sklと彩度Si+1,jとの彩度差|Skl−Si+1,j|を演算し、その演算した彩度差|Skl−Si+1,j|を結合重み修正回路1360へ出力する。
Then, the saturation
結合重み修正回路1360は、彩度差計算回路1340から彩度差|Skl−Si+1,j|を受け、結合重み演算回路1320から結合重みWi+1,j;kl_RGBを受ける。そして、結合重み修正回路1360は、表2を参照して、結合重みWi+1,j;kl_RGBおよび彩度差|Skl−Si+1,j|に基づいて、上述した方法によって結合重みWi+1,j;kl_Sを抽出し、その抽出した結合重みWi+1,j;kl_Sをセレクタ1380へ出力する。
The combination
一方、重み計算ユニット132のセレクタ信号生成回路1370は、FIFO回路128から画素GEklのSビン番号Aを受け、Dラッチ回路127から画素GEi+1,jのSビン番号Bを受ける。
On the other hand, the selector
そして、セレクタ信号生成回路1370は、図16に示すSビン番号の割当図を参照して、Sビン番号Aに対応する彩度Sklを抽出し、Sビン番号Bに対応する彩度Si+1,jを抽出する。
Then, the selector
そうすると、セレクタ信号生成回路1370は、彩度Si+1,jがしきい値Sth(=0.2)以下であり、かつ、彩度Sklがしきい値Sth(=0.2)以下であるか否かを判定する(ステップS2271)。
Then, the selector
ステップS2271において、彩度Si+1,jがしきい値Sth(=0.2)以下であり、かつ、彩度Sklがしきい値Sth(=0.2)以下であると判定されたとき、セレクタ信号生成回路1370は、セレクタ信号SEL_RGBを生成し、その生成したセレクタ信号SEL_RGBをセレクタ1380へ出力する。
In step S2271, it is determined that the saturation S i + 1, j is equal to or less than the threshold value S th (= 0.2) and the saturation S kl is equal to or less than the threshold value S th (= 0.2). At this time, the selector
セレクタ1380は、結合重み演算回路1320から結合重みWi+1,j;kl_RGBを受け、結合重み修正回路1350から結合重みWi+1,j;kl_Hを受け、結合重み修正回路1360から結合重みWi+1,j;kl_Sを受ける。そして、セレクタ1380は、セレクタ信号生成回路1370からセレクタ信号SEL_RGBを受けると、セレクタ信号SEL_RGBに応じて、3個の結合重みWi+1,j;kl_RGB,Wi+1,j;kl_H,Wi+1,j;kl_Sから結合重みWi+1,j;kl_RGBを選択し、その選択した結合重みWi+1,j;kl_RGBを結合重みWi+1,j;klと決定する。つまり、重み計算ユニット132は、RGB値RGBi+1,j,RGBklによって結合重みWi+1,j;klを決定する(ステップS2272)。そして、重み計算ユニット132は、その決定した結合重みWi+1,j;klを画像分割回路13へ出力する。
The
一方、ステップS2271において、彩度Si+1,jがしきい値Sth(=0.2)以下であり、かつ、彩度Sklがしきい値Sth(=0.2)以下でないと判定されたとき、セレクタ信号生成回路1370は、彩度Si+1,j,Sklの一方のみがしきい値Sth(=0.2)以下であるか否かをさらに判定する(ステップS2273)。
On the other hand, in step S2271, it is determined that the saturation S i + 1, j is not more than the threshold value S th (= 0.2) and the saturation S kl is not less than the threshold value S th (= 0.2). When this is done, the selector
そして、ステップS2273において、彩度Si+1,j,Sklの一方のみがしきい値Sth(=0.2)以下であると判定されたとき、セレクタ信号生成回路1370は、セレクタ信号SEL_Sを生成し、その生成したセレクタ信号SEL_Sをセレクタ1380へ出力する。
In step S2273, when it is determined that only one of the saturations S i + 1, j and S kl is equal to or less than the threshold value S th (= 0.2), the selector
セレクタ1380は、セレクタ信号生成回路1370からセレクタ信号SEL_Sを受けると、セレクタ信号SEL_Sに応じて、3個の結合重みWi+1,j;kl_RGB,Wi+1,j;kl_H,Wi+1,j;kl_Sから結合重みWi+1,j;kl_Sを選択し、その選択した結合重みWi+1,j;kl_Sを結合重みWi+1,j;klと決定する。つまり、重み計算ユニット132は、RGB値RGBi+1,j,RGBklおよび彩度Si+1,j,Sklによって結合重みWi+1,j;klを決定する(ステップS2274)。そして、重み計算ユニット132は、その決定した結合重みWi+1,j;klを画像分割回路13へ出力する。
Upon receiving the selector signal SEL_S from the selector
一方、ステップS2273において、彩度Si+1,j,Sklの一方のみがしきい値Sth(=0.2)以下でないと判定されたとき、セレクタ信号生成回路1370は、セレクタ信号SEL_Hを生成し、その生成したセレクタ信号SEL_Hをセレクタ1380へ出力する。
On the other hand, when it is determined in step S2273 that only one of the saturations S i + 1, j and S kl is not equal to or less than the threshold value S th (= 0.2), the selector
セレクタ1380は、セレクタ信号生成回路1370からセレクタ信号SEL_Hを受けると、セレクタ信号SEL_Hに応じて、3個の結合重みWi+1,j;kl_RGB,Wi+1,j;kl_H,Wi+1,j;kl_Sから結合重みWi+1,j;kl_Hを選択し、その選択した結合重みWi+1,j;kl_Hを結合重みWi+1,j;klと決定する。つまり、重み計算ユニット132は、RGB値RGBi+1,j,RGBklおよび色相Hi+1,j,Hklによって結合重みWi+1,j;klを決定する(ステップS2275)。そして、重み計算ユニット132は、その決定した結合重みWi+1,j;klを画像分割回路13へ出力する。
Upon receiving the selector signal SEL_H from the selector
そうすると、ステップS2272,S2274,S2275のいずれかの後、一連の動作は、図32のステップS231へ移行する。 Then, after any of steps S2272, S2274, and S2275, the series of operations proceeds to step S231 in FIG.
なお、ステップS2274は、RGB値RGBi+1,j,RGBklのみによって結合重みWi+1,j;kl_RGBを決定するステップと、その決定した結合重みWi+1,j;kl_RGBを彩度Si+1,j,Sklの彩度差|Si+1,j−Skl|に応じて小さくするステップとからなる。 In step S2274, the combination weights W i + 1, j; kl_RGB are determined based only on the RGB values RGB i + 1, j , RGB kl , and the determined combination weights W i + 1, j; kl_RGB are used as the saturation S i + 1, j , S kl saturation step | S i + 1, j −S kl |
また、ステップS2275は、RGB値RGBi+1,j,RGBklのみによって結合重みWi+1,j;kl_RGBを決定するステップと、その決定した結合重みWi+1,j;kl_RGBを色相Hi+1,j,Hklの色相差|Hi+1,j−Hkl|に応じて大きくするステップとからなる。 In step S2275, the combination weights W i + 1, j; kl_RGB are determined only by the RGB values RGB i + 1, j , RGB kl , and the determined combination weights W i + 1, j; kl_RGB are used as the hues H i + 1, j. , H kl hue difference | H i + 1, j −H kl |
さらに、図32に示すステップS228〜ステップ230の各々における詳細な動作も、図33に示すステップS2271〜ステップS2275によって実行される。 Further, detailed operations in steps S228 to 230 shown in FIG. 32 are also executed by steps S2271 to S2275 shown in FIG.
図34は、図31に示すステップS23の詳細な動作を説明するためのフローチャートである。図34を参照して、図31に示すステップS22の後、画像分割回路13は、結合重み決定回路12から1フレームを構成する複数の画素における各画素間の結合重みを受けるとともに、上述した方法によって、リーダセルを決定する(ステップS231)。
FIG. 34 is a flowchart for explaining the detailed operation of step S23 shown in FIG. Referring to FIG. 34, after step S22 shown in FIG. 31, the
そして、画像分割回路13は、自己発火可能なセルを検出したか否かを判定し(ステップS232)、自己発火可能なセルを検出したと判定したとき、上述した方法によって自己発火を行なう(ステップS233)。
Then, the
その後、画像分割回路13は、発火セルが存在するか否かを判定し(ステップS234)、発火セルが存在するとき、上述した方法によって周囲へ引火(領域成長)を行なう(ステップS235)。そして、一連の動作は、ステップS234へ戻り、ステップS234において、発火セルが存在しなくなるまで、ステップS234,S235が繰り返し実行される。
Thereafter, the
ステップS234において、発火セルが存在しないと判定されると、画像分割回路13は、上述した方法によって、引火終了・領域決定を行なうとともに、ラベル付け(鎮火)を行なう(ステップS236)。その後、一連の動作は、ステップS232へ戻り、ステップS232において、自己発火可能なセルが検出されないと判定されるまで、ステップS232〜ステップS236が繰り返し実行される。
If it is determined in step S234 that there is no ignition cell, the
そして、ステップS232において、自己発火可能なセルが検出されないと判定されると、一連の動作は、図30のステップS3へ移行する。 If it is determined in step S232 that a self-ignitable cell is not detected, the series of operations proceeds to step S3 in FIG.
なお、物体追跡装置10の画像分割ユニット1は、図31(図32〜図34)に示すフローチャートを繰り返し実行し、各フレームを各対象物の画像に分割する。
The
図35は、図30のステップS8の詳細な動作を説明するためのフローチャートである。図35を参照して、図30のステップS7の後、追跡ユニット2は、記憶している各オブジェクト(=対象物)の特徴量に基づいて、全てのオブジェクト間の特徴量の差を計算し(ステップS81)、グループ番号の付いていないオブジェクトを探索する(ステップS82)。
FIG. 35 is a flowchart for explaining the detailed operation of step S8 of FIG. Referring to FIG. 35, after step S7 of FIG. 30, the
そして、追跡ユニット2は、グループ番号の付いていないオブジェクトが有るか否かを判定する(ステップS83)。
Then, the
ステップS83において、グループ番号の付いていないオブジェクトが有ると判定されたとき、追跡ユニット2は、グループ番号の付いていないオブジェクトの中から注目オブジェクトを決定し(ステップS84)、その決定した注目オブジェクトにグループ番号を付ける(ステップS85)。
When it is determined in step S83 that there is an object without a group number, the
その後、追跡ユニット2は、ステップS81において計算した全てのオブジェクト間の特徴量の差に基づいて、注目オブジェクトの特徴量との差がしきい値以下であるオブジェクトを検出することによって、注目オブジェクトに類似するオブジェクトを検出する。そして、追跡ユニット2は、その検出したオブジェクトに注目オブジェクトと同じグループ番号を付ける(ステップS86)。
After that, the
引き続いて、追跡ユニット2は、ステップS86における方法と同じ方法によって、グループ番号を付けられたオブジェクトに類似するオブジェクトを検出し、その検出したオブジェクトに注目オブジェクトと同じグループ番号を付ける(ステップS87)。
Subsequently, the
その後、一連の動作は、ステップS83へ戻り、ステップS83において、グループ番号の付いていないオブジェクトが無いと判定されるまで、上述したステップS83〜ステップS87が繰返し実行される。 Thereafter, the series of operations returns to step S83, and the above-described steps S83 to S87 are repeatedly executed until it is determined in step S83 that there is no object without a group number.
そして、ステップS83において、グループ番号の付いていないオブジェクトが無いと判定されると、一連の動作は、図30のステップS9へ移行する。 If it is determined in step S83 that there is no object without a group number, the series of operations proceeds to step S9 in FIG.
図35に示すフローチャートにおいて、ステップS83の“YES”→ステップS84→ステップS85→ステップS86→ステップS87→ステップS83からなるループが1回目に実行されると、1つの注目オブジェクトに類似する全てのオブジェクトが検出され、その検出された全てのオブジェクトおよび注目オブジェクトが同じグループ番号によってグループ化される。 In the flowchart shown in FIG. 35, when the loop consisting of “YES” in step S83 → step S84 → step S85 → step S86 → step S87 → step S83 is executed for the first time, all objects similar to one target object are displayed. Are detected, and all the detected objects and the object of interest are grouped by the same group number.
そして、ステップS83の“YES”→ステップS84→ステップS85→ステップS86→ステップS87→ステップS83からなるループが2回目に実行されると、1回目と異なる注目オブジェクトに類似する全てのオブジェクトが検出され、その検出された全てのオブジェクトおよび注目オブジェクトが同じグループ番号によってグループ化される。 When the loop consisting of “YES” in step S83 → step S84 → step S85 → step S86 → step S87 → step S83 is executed for the second time, all objects similar to the object of interest different from the first time are detected. , All the detected objects and the object of interest are grouped by the same group number.
したがって、ステップS83において、グループ番号の付いていないオブジェクトが無いと判定されるまで、ステップS83の“YES”→ステップS84→ステップS85→ステップS86→ステップS87→ステップS83からなるループが繰返し実行されると、ステップS83の“YES”→ステップS84→ステップS85→ステップS86→ステップS87→ステップS83からなるループが実行された回数と同じ数のグループ化されたオブジェクト(=追跡物体)が生成される。 Therefore, until it is determined in step S83 that there is no object without a group number, a loop consisting of “YES” in step S83 → step S84 → step S85 → step S86 → step S87 → step S83 is repeatedly executed. Then, the same number of grouped objects (= tracking objects) as the number of times the loop consisting of “YES” in step S83 → step S84 → step S85 → step S86 → step S87 → step S83 is executed is generated.
そして、追跡ユニット2は、図30のステップS9において、各グループ番号が付与されたオブジェクト(=追跡物体)をグループ情報として出力する。
Then, in step S9 of FIG. 30, the
上述したように、物体追跡装置10は、画像分割ユニット1によって、隣接する2つの画素の2つの彩度の両方がしきい値Sth以下であるとき、2つの画素のRGB値のみによって2つの画素間の結合重みを決定し(ステップS2272参照)、2つの彩度の一方のみがしきい値Sth以下であるとき、2つの画素のRGB値および彩度によって2つの画素間の結合重みを決定し(ステップS2274参照)、2つの画素の2つの彩度の両方がしきい値Sthよりも大きいとき、2つのRGB値および色相によって結合重みを決定し(ステップS2275参照)、その決定した結合重みを用いて各フレームを分割する。そして、物体追跡装置10は、画像分割ユニット1によって分割された複数の分割画像中の複数のオブジェクトを追跡ユニット2によってグループ化して追跡物体を認識し、追跡する。
As described above, the
したがって、1つのフレームに含まれる複数のオブジェクトの画像に1つのフレームを分割しても、追跡物体を容易に認識でき、追跡物体を容易に追跡できる。 Therefore, even if one frame is divided into images of a plurality of objects included in one frame, the tracking object can be easily recognized and the tracking object can be easily tracked.
また、物体追跡装置10は、コントラストの低いカラー画像または光の反射による影響があるカラー画像における画素間の結合重みを正確に決定でき、無彩色領域と有彩色領域とに属するとき画素を有する物体、および有彩色領域に属する画素を有する物体を正確に分割でき、その正確に分割した分割物体に基づいて追跡物体を正確にグループ化できる。その結果、追跡物体を正確に追跡できる。
Further, the
追跡物体の別の追跡方法について説明する。この別の追跡方法が用いられる場合、追跡ユニット2は、フレームF(t)における分割物体のグループ化において、フレームF(t−1)における分割物体のグループ化の結果を用いる。
Another tracking method for the tracking object will be described. When this another tracking method is used, the
図36は、グループ化における問題点を説明するための図である。図36を参照して、2台の車両が重なる場合(=2つの物体が重なる場合)、バウンディングボックスの形状が変形し、動きベクトルに影響を与え、1台の車両および交通標識が静止物体グループとなり、交通標識の一部、1台の車両、および認識不可能な2つの物体が移動物体グループにグループ化される場合がある。 FIG. 36 is a diagram for explaining a problem in grouping. Referring to FIG. 36, when two vehicles overlap (= when two objects overlap), the shape of the bounding box is deformed, affecting the motion vector, and one vehicle and a traffic sign are stationary object groups. Thus, a part of a traffic sign, one vehicle, and two unrecognizable objects may be grouped into a moving object group.
そこで、このようなグループ化の失敗をなくすために、この発明の実施の形態においては、追跡ユニット2は、好ましくは、前フレームにおけるグループ化の結果を用いて現フレームにおけるグループ化を行なう。
Therefore, in order to eliminate such grouping failure, in the embodiment of the present invention, the
図37は、前フレームにおけるグループ化の結果を示す図である。図37を参照して、前フレームF(t−1)においては、交通標識、一方の車両、および他方の車両がそれぞれ1つのグループにグループ化されている。 FIG. 37 is a diagram illustrating the result of grouping in the previous frame. Referring to FIG. 37, in the front frame F (t−1), the traffic sign, one vehicle, and the other vehicle are grouped into one group.
図38は、別の追跡方法において使用されるグループ化の方法を説明するための図である。図38においては、図37に示す車両CARのフレームF(t)におけるグループ化について説明する。 FIG. 38 is a diagram for explaining a grouping method used in another tracking method. 38, grouping in the frame F (t) of the vehicle CAR shown in FIG. 37 will be described.
図38を参照して、バウンディングボックスBBi(t)は、フレームF(t)において注目している注目オブジェクトOJi(t)のバウンディングボックスであり、バウンディングボックスBBi+1(t)は、フレームF(t)において注目オブジェクトOJi(t)に類似するオブジェクトOJi+1(t)のバウンディングボックスである。 Referring to FIG. 38, the bounding box BBi (t) is the bounding box of the target object OJi (t) that is focused on in the frame F (t), and the bounding box BBi + 1 (t) is the frame F (t). The bounding box of the object OJi + 1 (t) similar to the object of interest OJi (t).
また、バウンディングボックスBBi(t−1)は、注目オブジェクトOJi(t)とマッチングしたフレームF(t−1)における注目オブジェクトOJi(t−1)のバウンディングボックスであり、バウンディングボックスBBi+1(t−1)は、オブジェクトOJi+1(t)とマッチングしたフレームF(t−1)におけるオブジェクトOJi+1(t−1)のバウンディングボックスである。 The bounding box BBi (t−1) is a bounding box of the target object OJi (t−1) in the frame F (t−1) matched with the target object OJi (t), and the bounding box BBi + 1 (t−1) ) Is a bounding box of the object OJi + 1 (t−1) in the frame F (t−1) matched with the object OJi + 1 (t).
さらに、バウンディングボックスBB(t−1)は、フレームF(t−1)においてグループ化された物体(車両CAR)のバウンディングボックスの集合体である(図38の(a)参照)。 Further, the bounding box BB (t−1) is an aggregate of bounding boxes of objects (vehicle CAR) grouped in the frame F (t−1) (see FIG. 38A).
追跡ユニット2は、フレームF(t)における注目オブジェクトOJi(t)と、フレームF(t−1)におけるオブジェクトOJi(t−1)とのオブジェクトマッチングを行なうとともに、フレームF(t)におけるオブジェクトOJi+1(t)と、フレームF(t−1)におけるオブジェクトOJi+1(t−1)とのオブジェクトマッチングを行なう。
The
そして、追跡ユニット2は、そのオブジェクトマッチングしたフレームF(t−1),F(t)の2つのオブジェクトOJi(t),OJi(t−1)およびOJi+1(t),OJi+1(t−1)に基づいて、フレームF(t−1),F(t)間の動きベクトルを求める。
The
また、追跡ユニット2は、フレームF(t−1)におけるオブジェクトOJi(t−1),OJi+1(t−1)をグループ化した物体(=車両CAR)のバウンディングボックスBB(t−1)を検出する。
Further, the
そうすると、追跡ユニット2は、バウンディングボックスBB(t−1)にフレームF(t−1),F(t)間の動きベクトルを加算して、フレームF(t)においてグループ化されるべき物体(=車両CAR)のバウンディングボックスBB(t)を求める(図38の(b)参照)。
Then, the
その後、追跡ユニット2は、その求めたバウンディングボックスBB(t)とバウンディングボックスBBi(t),BBi+1(t)とが重なるか否かを判定する。
Thereafter, the
そして、追跡ユニット2は、バウンディングボックスBB(t)とバウンディングボックスBBi(t),BBi+1(t)とが重なるとき(図38の(c)参照)、バウンディングボックスBBi(t),BBi+1(t)が相互に類似するか否かを判定し、バウンディングボックスBBi(t),BBi+1(t)が相互に類似するとき、オブジェクトOJi(t),OJi+1(t)に同じグループ番号を付与する。
When the bounding box BB (t) and the bounding boxes BBi (t) and BBi + 1 (t) overlap (see FIG. 38C), the
図39は、この発明の実施の形態による他の物体追跡方法を説明するためのフローチャートである。 FIG. 39 is a flowchart for explaining another object tracking method according to the embodiment of the present invention.
図39を参照して、物体追跡の動作が開始されると、物体追跡装置10の画像分割ユニット1は、フレームを読み込み(ステップS31)、その読み込んだフレームを上述した方法によって画像分割する(ステップS32)。そして、画像分割ユニット1は、その分割した分割画像を追跡ユニット2へ出力する。
Referring to FIG. 39, when the object tracking operation is started, the
追跡ユニット2は、画像分割ユニット1から分割画像を受け、その受けた分割画像に表された各分割物体の特徴量を抽出し(ステップS33)、その抽出した特徴量を記憶する。
The
そして、追跡ユニット2は、処理をしているフレームが1番目のフレームか否かを判定し(ステップS34)、処理をしているフレームが1番目のフレームであるとき、フレームの読込が有るか否かをさらに判定する(ステップS35)。
Then, the
ステップS35において、フレームの読込が無いと判定されたとき、一連の動作は、終了する。 In step S35, when it is determined that no frame is read, the series of operations ends.
一方、ステップS35において、フレームの読込が有ると判定されたとき、一連の動作は、ステップS32へ戻り、上述したステップS32〜ステップS35が繰返し実行される。 On the other hand, when it is determined in step S35 that the frame is read, the series of operations returns to step S32, and the above-described steps S32 to S35 are repeatedly executed.
一方、ステップS34において、処理しているフレームが1番目のフレームでないと判定されたとき、追跡ユニット2は、上述した方法によって、フレーム間における各分割物体(=各オブジェクト)のオブジェクトマッチングを行なう(ステップS36)。そして、追跡ユニット2は、オブジェクトがマッチングされた各オブジェクトの動きベクトルを求め、その求めた動きベクトルを用いて各オブジェクトの推定位置を計算する(ステップS37)。
On the other hand, when it is determined in step S34 that the frame being processed is not the first frame, the
そして、追跡ユニット2は、フレーム間差分を演算し(ステップS38)、その演算したフレーム間差分に基づいて、移動物体と静止物体とを判別する(ステップS39)。
Then, the
その後、追跡ユニット2は、現在処理しているフレームがフレーム(2)であるか否かを判定する(ステップS40)。
Thereafter, the
ステップS40において、現在処理しているフレームがフレーム(2)であると判定されたとき、追跡ユニット2は、フレーム(2)の情報を用いてオブジェクトをグループ化する(ステップS41)。
When it is determined in step S40 that the currently processed frame is the frame (2), the
一方、ステップS40において、現在処理しているフレームがフレーム(2)でないと判定されたとき、追跡ユニット2は、フレーム(t−1)のグループ化結果とフレーム(t)の情報とを用いてオブジェクトをグループ化する(ステップS42)。
On the other hand, when it is determined in step S40 that the currently processed frame is not the frame (2), the
そして、ステップS41またはステップS42の後、追跡ユニット2は、グループ化結果を出力し(ステップS43)、フレームの読込があるか否かを判定する(ステップS44)。
Then, after step S41 or step S42, the
ステップS44において、フレームの読込があると判定されたとき、一連の動作は、ステップS32へ戻り、ステップS44において、フレームの読込が無いと判定されるまで、上述したステップS32〜ステップS44が繰返し実行される。 When it is determined in step S44 that the frame is read, the series of operations returns to step S32, and the above-described steps S32 to S44 are repeatedly executed until it is determined in step S44 that no frame is read. Is done.
そして、ステップS44において、フレームの読込が無いと判定されると、一連の動作は、終了する。 If it is determined in step S44 that no frame is read, the series of operations ends.
なお、図39に示すステップS32の詳細な動作は、図31(図32〜図34)に示すフローチャートに従って実行される。 The detailed operation in step S32 shown in FIG. 39 is executed according to the flowchart shown in FIG. 31 (FIGS. 32 to 34).
また、図39に示すステップS41の詳細な動作は、図35に示すフローチャートに従って実行される。そして、ステップS41において、フレーム(2)の情報を用いてオブジェクトのグループ化が行なわれるのは、未だ、グループ化が行なわれていないため、前フレームにおけるグループ化結果を利用できないからである。 Further, the detailed operation of step S41 shown in FIG. 39 is executed according to the flowchart shown in FIG. The reason why the objects are grouped using the information of frame (2) in step S41 is that the grouping result in the previous frame cannot be used because the grouping is not yet performed.
さらに、図39に示すフローチャートにおいては、フレーム間差分を演算して移動物体と静止物体とを判別すると説明したが(ステップS38,S39)、この発明の実施の形態においては、これに限らず、ステップS38において、動きベクトルを演算し、ステップS39において、その演算した動きベクトルを用いて移動物体と静止物体とを判別してもよい。 Furthermore, in the flowchart shown in FIG. 39, it has been described that the difference between frames is calculated to discriminate between a moving object and a stationary object (steps S38 and S39), but the embodiment of the present invention is not limited to this. In step S38, a motion vector may be calculated, and in step S39, a moving object and a stationary object may be determined using the calculated motion vector.
図40は、図39に示すステップS42の詳細な動作を説明するためのフローチャートである。 FIG. 40 is a flowchart for explaining the detailed operation of step S42 shown in FIG.
図40を参照して、図39に示すステップS40の“NO”の後、追跡ユニット2は、移動物体の特徴量を読み込み(ステップS421)、グループ済みフラグが“1”であるか否かを判定する(ステップS422)。
Referring to FIG. 40, after “NO” in step S40 shown in FIG. 39, tracking
ステップS422において、グループ済みフラグが“1”でないと判定されたとき、追跡ユニット2は、新しいグループ番号を付ける(ステップS423)。
When it is determined in step S422 that the grouped flag is not “1”, the
そして、ステップS422において、グループ済みフラグが“1”であると判定されたとき、またはステップS423の後、追跡ユニット2は、オブジェクトのグループ番号を更新し、注目オブジェクトの特徴量と他のオブジェクトの特徴量との差を演算する(ステップS424)。
Then, when it is determined in step S422 that the grouped flag is “1” or after step S423, the
その後、追跡ユニット2は、上述した方法によって、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとが重なるか否かを判定する(ステップS425)。
Thereafter, the
ステップS425において、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとが重ならないと判定されたとき、一連の動作は、ステップS431へ移行する。 If it is determined in step S425 that the bounding box of the object of interest and the bounding box of another object do not overlap, the series of operations proceeds to step S431.
一方、ステップS425において、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとが重なると判定されたとき、追跡ユニット2は、上述した方法によって、フレーム(t−1)でマッチングした物体(=オブジェクト)のグループのバウンディングボックスと、物体(=注目オブジェクトおよび他のオブジェクト)のバウンディングボックスとが重なるか否かをさらに判定する(ステップS426)。
On the other hand, when it is determined in step S425 that the bounding box of the object of interest overlaps the bounding box of the other object, the
ステップS426において、フレーム(t−1)でマッチングした物体(=オブジェクト)のグループのバウンディングボックスと、物体(=注目オブジェクトおよび他のオブジェクト)のバウンディングボックスとが重なると判定されたとき、追跡ユニット2は、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとの高さおよび幅が類似するか否かをさらに判定する(ステップS427)。この場合、追跡ユニット2は、注目オブジェクトのバウンディングボックスの高さと、他のオブジェクトのバウンディングボックスの高さとの差がしきい値以下であり、かつ、注目オブジェクトのバウンディングボックスの幅と、他のオブジェクトのバウンディングボックスの幅との差がしきい値以下であるとき、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとの高さおよび幅が類似すると判定する。また、追跡ユニット2は、注目オブジェクトのバウンディングボックスの高さと、他のオブジェクトのバウンディングボックスの高さとの差がしきい値よりも大きいか、または、注目オブジェクトのバウンディングボックスの幅と、他のオブジェクトのバウンディングボックスの幅との差がしきい値よりも大きいとき、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとの高さおよび幅が類似しないと判定する。
When it is determined in step S426 that the bounding box of the group of objects (= objects) matched in the frame (t-1) and the bounding box of the objects (= target object and other objects) overlap, the
ステップS427において、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとの高さおよび幅が類似すると判定されたとき、追跡ユニット2は、注目オブジェクトの動きベクトルと、他のオブジェクトの動きベクトルとの差を演算し、その演算した動きベクトルの差がしきい値Mvth2よりも小さいか否かをさらに判定する(ステップS428)。このしきい値Mvth2は、たとえば、“10”である。
When it is determined in step S427 that the bounding box of the target object and the bounding box of the other object are similar in height and width, the
ステップS428において、動きベクトルの差がしきい値Mvth2以上であると判定されたとき、一連の動作は、ステップS424へ戻る。 When it is determined in step S428 that the motion vector difference is greater than or equal to the threshold value Mvth2, the series of operations returns to step S424.
一方、ステップS426において、フレーム(t−1)でマッチングした物体(=オブジェクト)のグループのバウンディングボックスと、物体(=注目オブジェクトおよび他のオブジェクト)のバウンディングボックスとが重ならないと判定されたとき、またはステップS427において、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとの高さおよび幅が類似しないと判定されたとき、追跡ユニット2は、注目オブジェクトの動きベクトルと、他のオブジェクトの動きベクトルとの差を演算し、その演算した動きベクトルの差がしきい値Mvth1よりも小さいか否かをさらに判定する(ステップS429)。このしきい値Mvth1は、たとえば、“5”である。
On the other hand, when it is determined in step S426 that the bounding box of the group of objects (= objects) matched in the frame (t-1) and the bounding box of the objects (= target object and other objects) do not overlap, Alternatively, when it is determined in step S427 that the height and width of the bounding box of the target object and the bounding box of the other object are not similar, the
ステップS429において、動きベクトルの差がしきい値Mvth1以上であると判定されたとき、一連の動作は、ステップS431へ移行する。 When it is determined in step S429 that the motion vector difference is greater than or equal to the threshold value Mvth1, the series of operations proceeds to step S431.
一方、ステップS428において、動きベクトルの差がしきい値Mvth2よりも小さいと判定されたとき、またはステップS429において、動きベクトルの差がしきい値Mvth1よりも小さいと判定されたとき、追跡ユニット2は、注目オブジェクトおよび他のオブジェクトに同じグループ番号を付け、グループ済みフラグを“1”に設定する(ステップS430)。しきい値Mvth2は、しきい値Mvth1よりも大きい。
On the other hand, when it is determined in step S428 that the motion vector difference is smaller than the threshold value Mvth2, or when it is determined in step S429 that the motion vector difference is smaller than the threshold value Mvth1, the
そして、ステップS425において、注目オブジェクトのバウンディングボックスと、他のオブジェクトのバウンディングボックスとが重ならないと判定されたとき、またはステップS429において、動きベクトルの差がしきい値Mvth1以上であると判定されたとき、またはステップS430の後、追跡ユニット2は、注目オブジェクトと、全ての移動オブジェクトとを比較したか否かを判定する(ステップS431)。
In step S425, when it is determined that the bounding box of the object of interest and the bounding box of another object do not overlap, or in step S429, it is determined that the difference between the motion vectors is greater than or equal to the threshold value Mvth1. When or after step S430, the
ステップS431において、注目オブジェクトと、全ての移動オブジェクトとを比較していないと判定されたとき、一連の動作は、ステップS424へ戻る。 When it is determined in step S431 that the object of interest has not been compared with all moving objects, the series of operations returns to step S424.
一方、ステップS431において、注目オブジェクトと、全ての移動オブジェクトとを比較したと判定されたとき、追跡ユニット2は、移動オブジェクトのグループ済みフラグを全て調べたか否かをさらに判定する(ステップS432)。
On the other hand, when it is determined in step S431 that the object of interest has been compared with all the moving objects, the
ステップS432において、移動オブジェクトのグループ済みフラグを全て調べていないと判定されたとき、一連の動作は、ステップS422へ戻る。 When it is determined in step S432 that all the grouped flags of the moving object have not been checked, the series of operations returns to step S422.
一方、ステップS432において、移動オブジェクトのグループ済みフラグを全て調べたと判定されたとき、追跡ユニット2は、グループ化情報を出力する(ステップS433)。そして、一連の動作は、図39のステップS43へ移行する。
On the other hand, when it is determined in step S432 that all the grouped flags of the moving objects have been checked, the
なお、ステップS431において、注目オブジェクトと全ての移動オブジェクトとを比較したと判定されるまで、ステップS424〜ステップS431が実行されると、1つの注目オブジェクトと、その注目オブジェクトに類似するオブジェクトとがグループ化される。 Note that when step S424 to step S431 are executed until it is determined in step S431 that the target object has been compared with all the moving objects, one target object and an object similar to the target object are grouped. It becomes.
また、ステップS432において、移動オブジェクトのグループ済みフラグを全て調べたと判定されるまで、ステップS422〜ステップS432が実行されると、全ての追跡物体がグループ化される。 If it is determined in step S432 that all the grouped flags of the moving objects have been checked, all the tracking objects are grouped when steps S422 to S432 are executed.
図39に示すフローチャートは、フレーム(2)において、オブジェクトをグループ化する場合、フレーム(2)における情報も用いてオブジェクトをグループ化し(ステップS41および図35参照)、フレーム(3)以降において、オブジェクトをグループ化する場合、前フレームにおけるグループ化情報と現フレームの情報とを用いてオブジェクトをグループ化する(ステップS42および図40参照)。 In the flowchart shown in FIG. 39, when objects are grouped in frame (2), the objects are also grouped using information in frame (2) (see step S41 and FIG. 35). Are grouped using the grouping information in the previous frame and the information in the current frame (see step S42 and FIG. 40).
したがって、図39に示すフローチャートに従って物体を追跡することによって、3番目以降のフレームにおけるオブジェクトのグループ化において、前フレームにおけるグループ化情報も用いてオブジェクトをグループ化できるため、図36において説明したグループ化の失敗を回避できる。その結果、各追跡物体を正確に認識できる。 Therefore, by tracking the objects according to the flowchart shown in FIG. 39, the objects can be grouped using the grouping information in the previous frame in the grouping of objects in the third and subsequent frames. Can avoid failure. As a result, each tracking object can be accurately recognized.
図41は、図39および図40に示すフローチャートに従ってオブジェクトをグループ化した結果を示す図である。 FIG. 41 is a diagram showing the result of grouping objects according to the flowcharts shown in FIGS. 39 and 40.
図41を参照して、入力画像は、フレームt、フレームt+1およびフレームt+2からなる(図41の(a)参照)。そして、フレームt+1におけるグループ化は、フレームtにおけるグループ化情報を用いた行なわれ、フレームt+2におけるグループ化は、フレームt+1におけるグループ化情報と現フレームの情報とを用いて行なわれた(図39のステップS42および図40参照)。 Referring to FIG. 41, the input image is composed of a frame t, a frame t + 1, and a frame t + 2 (see (a) of FIG. 41). Then, the grouping in the frame t + 1 is performed using the grouping information in the frame t, and the grouping in the frame t + 2 is performed using the grouping information in the frame t + 1 and the information of the current frame (FIG. 39). Step S42 and FIG. 40).
その結果、フレームt+1およびフレームt+2の両方において、グループ化が成功しており、図36において説明したグループ化の失敗を回避できることが実証された。 As a result, the grouping was successful in both the frame t + 1 and the frame t + 2, and it was demonstrated that the grouping failure described in FIG. 36 can be avoided.
なお、上記においては、画像分割ユニット1は、入力画像の各画素のRGB値、色相および彩度を用いて各画素間の結合重みを決定し、その決定した結合重みを用いた入力画像を各オブジェクトの画像に分割すると説明したが、この発明の実施の形態においては、これに限らず、画像分割ユニット1は、入力画像の各画素のRGB値のみを用いて各画素間の結合重みを決定し、その決定した結合重みを用いた入力画像を各オブジェクトの画像に分割してもよく、一般的には、分割方法を問わず、入力画像を各オブジェクトの画像に分割すればよい。
In the above, the
また、上述した実施の形態1においては、物体追跡装置10は、ソフトウェアまたはハードウェアによっても実現可能である。物体追跡装置10がソフトウェアによって実現される場合、上述した画像分割ユニット1(画素値検出回路1、結合重み決定回路12および画像分割回路13)および追跡ユニット2の各機能は、典型的には、CPU(Central Processing Unit)がコンピュータプログラムを実行することによって実現される。そして、このコンピュータプログラムは、携帯端末内のROM(Read Only Memory)に予め格納されているか、外部からダウンロードされて携帯端末内の不揮発メモリに格納される。
In the first embodiment described above, the
また、物体追跡装置10がハードウェアによって実現される場合、上述した画像分割ユニット1(画素値検出回路1、結合重み決定回路12および画像分割回路13)および追跡ユニット2の機能は、CPU、RAM(Randum Access Memory)、ROMおよび不揮発性メモリ等のハードウェア資源と組み合わせることによって、集積回路であるLSI(Large Scale Integrated circuit)によって実現される。そして、画像分割ユニット1(画素値検出回路1、結合重み決定回路12および画像分割回路13)および追跡ユニット2の機能は、個別に1チップ化されてもよいし、いくつかのまとまった単位で1チップ化されてもよい。また、集積回路は、LSIに限るものではなく、専用回路または汎用プロセッサによって実現されてもよい。さらに、集積回路は、LSIの製作後にプログラムを格納可能なFPGA(Field Programmable Gate Array)、またはLSI内部の回路セルの接続や設定を再構成することが可能なリコンフィギュラブル・プロセッサが利用されてもよい。さらに、画像分割ユニット1(画素値検出回路1、結合重み決定回路12および画像分割回路13)および追跡ユニット2の機能は、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術(バイオ技術、有機化学技術等)が登場すれば、当然、その技術を用いて集積化されてもよい。なお、集積回路は、その集積度の違いによって、IC、システムLSI、スーパーLSIおよびウルトラLSI等と呼称されることもある。
When the
このように、物体追跡装置10は、ソフトウェアまたはハードウェアによっても実現可能であるので、この発明の実施の形態においては、上述した画素値検出回路11は、「画素値検出部」を構成し、結合重み決定回路12は、「結合重み決定部」を構成し、画像分割回路13は、「画像分割部」を構成する。
Thus, since the
追跡ユニット2は、追跡物体認識部と、グループ化部とを含む。そして、追跡物体認識部は、画像分割ユニット1によって生成された複数の分割画像領域を静止物体を示す複数の静止物体画像領域と移動物体を示す複数の移動物体画像領域とに分類する。また、グループ化部は、追跡物体認識部によって分類された移動物体画像領域を所定の類似性に基づいてグループ化する。
The
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is shown not by the above description of the embodiments but by the scope of claims for patent, and is intended to include meanings equivalent to the scope of claims for patent and all modifications within the scope.
この発明は、複数の対象物からなる追跡物体を追跡容易な物体追跡装置に適用される。また、この発明は、複数の対象物からなる追跡物体を追跡容易な物体追跡方法に適用される。 The present invention is applied to an object tracking device that can easily track a tracking object composed of a plurality of objects. Further, the present invention is applied to an object tracking method that can easily track a tracking object composed of a plurality of objects.
1 画像分割ユニット、2 追跡ユニット、11 画素値検出回路、12 結合重み決定回路、13 画像分割回路。
DESCRIPTION OF
Claims (6)
前記動画像を構成する個々のフレームに含まれる画像内の物体の画像特徴に基づいて分割画像領域を生成する画像分割ユニットと、
前記画像分割ユニットによって生成された前記分割画像領域に基づいて物体を追跡する追跡ユニットとを備え、
前記追跡ユニットは、
前記画像分割ユニットによって生成された複数の前記分割画像領域を静止物体を示す複数の静止物体画像領域と移動物体を示す複数の移動物体画像領域とに分類する追跡物体認識部と、
前記追跡物体認識部によって分類された前記移動物体画像領域を所定の類似性に基づいてグループ化するグループ化部とを含み、
前記画像分割ユニットは、前記フレームに含まれる画像内の物体を示す画素のR成分、G成分およびB成分からなるRGB値と、前記画素の色相と、前記画素の彩度とに基づいて画素間の結合重みを決定し、その決定した結合重みを用いて前記分割画像領域を生成する、物体追跡装置。 An object tracking device for tracking an object in a moving image composed of a plurality of frame images,
An image dividing unit that generates a divided image region based on an image feature of an object in an image included in each frame constituting the moving image;
A tracking unit for tracking an object based on the divided image region generated by the image dividing unit;
The tracking unit is
A tracking object recognition unit that classifies the plurality of divided image areas generated by the image dividing unit into a plurality of stationary object image areas indicating stationary objects and a plurality of moving object image areas indicating moving objects;
Look including a grouping unit for grouping based on the moving object image area which has been classified by the tracking object recognition unit to a predetermined similarity,
The image segmentation unit is configured to inter-pixel based on an RGB value composed of an R component, a G component, and a B component of a pixel indicating an object in an image included in the frame, a hue of the pixel, and a saturation of the pixel. An object tracking device that determines a connection weight of the image and generates the divided image region using the determined connection weight .
前記動画像を構成する個々のフレームに含まれる画像内の物体の画像特徴に基づいて分割画像領域を生成する第1のステップと、
前記第1のステップにおいて生成された複数の前記分割画像領域を静止物体を示す複数の静止物体画像領域と移動物体を示す複数の移動物体画像領域とに分類する第2のステップと、
前記第2のステップにおいて分類された前記移動物体画像領域を所定の類似性に基づいてグループ化する第3のステップとを備え、
前記第1のステップは、前記フレームに含まれる画像内の物体を示す画素のR成分、G成分およびB成分からなるRGB値と、前記画素の色相と、前記画素の彩度とに基づいて画素間の結合重みを決定し、その決定した結合重みを用いて前記分割画像領域を生成する、物体追跡方法。 An object tracking method for tracking an object in a moving image composed of a plurality of frame images,
A first step of generating a divided image region based on an image feature of an object in an image included in each frame constituting the moving image;
A second step of classifying the plurality of divided image areas generated in the first step into a plurality of stationary object image areas indicating stationary objects and a plurality of moving object image areas indicating moving objects;
A third step of grouping the moving object image regions classified in the second step based on a predetermined similarity ,
The first step is based on an RGB value composed of an R component, a G component, and a B component of a pixel indicating an object in an image included in the frame, a hue of the pixel, and a saturation of the pixel. An object tracking method for determining a connection weight between the two and generating the divided image region using the determined connection weight .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008274694A JP5103665B2 (en) | 2008-10-24 | 2008-10-24 | Object tracking device and object tracking method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008274694A JP5103665B2 (en) | 2008-10-24 | 2008-10-24 | Object tracking device and object tracking method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010102586A JP2010102586A (en) | 2010-05-06 |
JP5103665B2 true JP5103665B2 (en) | 2012-12-19 |
Family
ID=42293168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008274694A Expired - Fee Related JP5103665B2 (en) | 2008-10-24 | 2008-10-24 | Object tracking device and object tracking method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5103665B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5944271B2 (en) * | 2012-08-29 | 2016-07-05 | 株式会社東芝 | Ground mobile unit route deriving device |
US8811670B2 (en) * | 2012-09-28 | 2014-08-19 | The Boeing Company | Method and system for using fingerprints to track moving objects in video |
KR101618814B1 (en) | 2012-10-09 | 2016-05-09 | 에스케이텔레콤 주식회사 | Method and Apparatus for Monitoring Video for Estimating Gradient of Single Object |
KR101640527B1 (en) | 2012-10-09 | 2016-07-18 | 에스케이 텔레콤주식회사 | Method and Apparatus for Monitoring Video for Estimating Size of Single Object |
CN104517275A (en) * | 2013-09-27 | 2015-04-15 | 株式会社理光 | Object detection method and system |
JP6380523B2 (en) * | 2014-02-26 | 2018-08-29 | 株式会社ソシオネクスト | Image recognition system and semiconductor integrated circuit |
CN106651901B (en) * | 2015-07-24 | 2020-08-04 | 株式会社理光 | Object tracking method and device |
KR101916573B1 (en) * | 2017-03-24 | 2018-11-07 | 가톨릭대학교 산학협력단 | Method for tracking multi object |
CN115294612B (en) * | 2022-09-30 | 2022-12-23 | 南通双和食品有限公司 | Livestock and poultry feeding control method based on pattern recognition |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04102178A (en) * | 1990-08-22 | 1992-04-03 | Hitachi Ltd | Object model input device |
JP3763279B2 (en) * | 2002-02-26 | 2006-04-05 | 日本電気株式会社 | Object extraction system, object extraction method, and object extraction program |
JP4758272B2 (en) * | 2006-04-19 | 2011-08-24 | 富士通株式会社 | Moving object tracking device and program |
-
2008
- 2008-10-24 JP JP2008274694A patent/JP5103665B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010102586A (en) | 2010-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5103665B2 (en) | Object tracking device and object tracking method | |
Tong et al. | Salient object detection via bootstrap learning | |
Xiao et al. | Making of night vision: Object detection under low-illumination | |
CN109255344B (en) | Machine vision-based digital display type instrument positioning and reading identification method | |
JP4229980B1 (en) | Image segmentation apparatus and image segmentation method | |
CN103049763B (en) | Context-constraint-based target identification method | |
US7983486B2 (en) | Method and apparatus for automatic image categorization using image texture | |
CN110717896B (en) | Plate strip steel surface defect detection method based on significance tag information propagation model | |
CN109753878B (en) | Imaging identification method and system under severe weather | |
CN110428450B (en) | Scale-adaptive target tracking method applied to mine tunnel mobile inspection image | |
CN111079955A (en) | GIS (geographic information System) equipment defect detection method based on X-ray imaging | |
CN110659550A (en) | Traffic sign recognition method, traffic sign recognition device, computer equipment and storage medium | |
US20080075371A1 (en) | Method and system for learning spatio-spectral features in an image | |
CN106373146A (en) | Target tracking method based on fuzzy learning | |
CN111539330A (en) | Transformer substation digital display instrument identification method based on double-SVM multi-classifier | |
CN105095835A (en) | Pedestrian detection method and system | |
CN114881869A (en) | Inspection video image preprocessing method | |
CN114529906A (en) | Method and system for detecting abnormity of digital instrument of power transmission equipment based on character recognition | |
CN115700737A (en) | Oil spill detection method based on video monitoring | |
Li et al. | OUR-Net: A Multi-Frequency Network With Octave Max Unpooling and Octave Convolution Residual Block for Pavement Crack Segmentation | |
CN117437406A (en) | Multi-target detection method and device | |
JP5223133B2 (en) | Image segmentation apparatus and image segmentation method | |
CN112926500B (en) | Pedestrian detection method combining head and overall information | |
Siridhara et al. | Defect Detection in Fruits and Vegetables using K Means Segmentation and Otsu’s Thresholding | |
Dalla Mura et al. | Modeling structural information for building extraction with morphological attribute filters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110527 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120515 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120604 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120904 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120912 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151012 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |