KR20080100371A - Video image information processing device, judging method and computer program - Google Patents
Video image information processing device, judging method and computer program Download PDFInfo
- Publication number
- KR20080100371A KR20080100371A KR1020087022917A KR20087022917A KR20080100371A KR 20080100371 A KR20080100371 A KR 20080100371A KR 1020087022917 A KR1020087022917 A KR 1020087022917A KR 20087022917 A KR20087022917 A KR 20087022917A KR 20080100371 A KR20080100371 A KR 20080100371A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- marker
- detected
- images
- extracted
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/759—Region-based matching
Abstract
Description
본 발명은, 복수의 화상 간에서 각 화상 내에 존재하는 표지의 다르고같음(同異)을 판정하는 화상 정보 처리 장치, 판정 방법 및 컴퓨터 프로그램에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image information processing apparatus, a judging method, and a computer program for judging the difference between the plurality of images and the same mark in each image.
실제 세계에서의 대상물 및/또는 기정의 표지(마커)에 대하여, 소정의 관련 정보를 정시하는 정보 정시 장치로서는, 바코드 리더가 일반적으로 잘 알려져 있다. 그 중, 대상물 및/또는 기정의 마커의 공간 정보를 이용하여, 정보를 정시하는 장치가 있다.BACKGROUND ART A bar code reader is generally well known as an information presenting device for specifying predetermined related information about an object and / or a predetermined mark (marker) in the real world. Among them, there is an apparatus for specifying information by using spatial information of an object and / or a predetermined marker.
이와 같은 장치로서, 예를 들면, USP6,389,182호 공보에는, 이하와 같은 기술이 개시되어 있다. 즉, 명함 상에 인쇄된 2차원 코드를 카메라로 읽어 들이고, 컴퓨터 내의 프로그램으로 ID를 해석한다. 그리고,이 ID에 상당하는 인물의 얼굴 사진을, 마치 명함 상의 2차원 코드의 옆에 있는 것처럼, 컴퓨터 상의 디스플레이에 표시한다.As such an apparatus, for example, US Pat. No. 6,389,182 discloses the following technique. That is, the two-dimensional code printed on the business card is read by the camera, and the ID is analyzed by a program in the computer. Then, the face picture of the person corresponding to this ID is displayed on the display on the computer as if it is next to the two-dimensional code on the business card.
그러나, 상기 USP6,389,182호 공보에 개시되어 있는 바와 같은 기술에서는, 동일 디자인의 표지(마커)가 복수매의 화상 내에 존재하면,동일한 마커로 인식된 다. 이것은, 각각의 마커의 구별을 할 수 없다고 하는 문제에 의한 것이다.However, in the technique as disclosed in the above-mentioned US Pat. No. 6,389,182, if a cover (marker) of the same design exists in a plurality of images, it is recognized as the same marker. This is due to the problem that each marker cannot be distinguished.
<발명의 개시><Start of invention>
본 발명은, 상기한 점을 감안하여 이루어진 것으로, 복수의 화상 간에서 각 화상 내에 존재하는 표지의 다르고같음을 판정하는 것이 가능한 화상 정보 처리 장치, 판정 방법 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.This invention is made | formed in view of the above point, and an object of this invention is to provide the image information processing apparatus, the determination method, and the computer program which can determine the difference and the same of the mark which exists in each image among a some image.
본 발명의 화상 정보 처리 장치의 일 양태는, 화상 정보를 입력하는 화상 정보 입력 수단과, 상기 화상 정보 입력 수단에 의해 입력된 화상 정보의 화상 내에서, 표지를 추출하는 추출 수단과, 상기 추출 수단에서 추출된 표지의 상기 화상 내에서의 위치를 검출하는 위치 검출 수단과, 복수의 화상에서 각각 추출된 표지 간의 다르고같음을 판정하는 수단이며, 적어도 선택적으로 적용되는 판정 조건으로서, 상기 위치 검출 수단에 의해 검출된 해당 각 표지의 위치에 기초하는 판정 조건을 구비하는 판정 수단을 포함하는 것을 특징으로 한다.An aspect of the image information processing apparatus of the present invention includes image information input means for inputting image information, extraction means for extracting a cover in an image of image information input by the image information input means, and the extraction means. A position detecting means for detecting a position in the image of the cover sheet extracted in step S, and means for determining a difference between the cover sheets extracted from the plurality of images, respectively, and which are at least selectively applied to the position detecting means. And judging means having judging conditions based on the positions of the respective markers detected by the mark.
또한,본 발명의 복수의 화상 간에서 각 화상 내에 존재하는 표지의 다르고같음을 판정하는 방법의 일 양태는, 복수의 화상을 입력하는 스텝과, 상기 입력된 각 화상 내에서, 표지를 유출하는 스텝과, 상기 추출된 표지의 화상 상의 위치를 검출하는 스텝과, 적어도 선택적으로 상기 검출된 상기 표지의 위치에 기초하는 판정 조건을 적용하여, 상기 입력된 복수의 화상에서 각각 추출된 화상 표지 간의 다르고같음을 판정하는 스텝을 구비하는 것을 특징으로 한다.In addition, one aspect of the method for determining whether the indicia present in each image is different among the plurality of images of the present invention is a step of inputting a plurality of images and a step of flowing out the indicia in each of the input images. And a step of detecting a position on the image of the extracted marker and at least optionally a determination condition based on the detected position of the marker, wherein the image markers extracted from the plurality of input images are different from each other. Characterized in that it comprises a step of determining.
또한,본 발명의 컴퓨터 프로그램의 일 양태는, 컴퓨터에 복수의 화상 간에서 각 화상 내에 존재하는 표지의 다르고같음을 판정시키는 컴퓨터 프로그램으로 서, 컴퓨터에, 복수의 화상을 입력시키고, 상기 입력된 각 화상 내에서, 표지를 추출시키고, 상기 추출된 표지의 화상 상의 위치를 검출시키며, 적어도 선택적으로 상기 검출된 상기 표지의 위치에 기초하는 판정 조건을 적용하여, 상기 입력된 복수의 화상에서 각각 추출된 화상 표지 간의 다르고같음을 판정시키는 것을 특징으로 한다.In addition, one aspect of the computer program of the present invention is a computer program for determining, by a computer, that a cover page existing in each image is different among a plurality of images. In the image, a cover sheet is extracted, a position on the image of the extracted cover sheet is detected, and at least selectively applied to a determination condition based on the detected position of the cover sheet, each extracted from the plurality of input images. It is characterized by determining that they are different from each other and the same.
도 1은, 본 발명의 일 실시예에 따른 화상 정보 처리 장치의 구성을 나타내는 도면. 1 is a diagram illustrating a configuration of an image information processing apparatus according to an embodiment of the present invention.
도 2는, 표지인 마커의 예를 설명하기 위한 도면.2 is a diagram for explaining an example of a marker that is a marker.
도 3은, 화상 정보 처리 장치의 동작을 설명하기 위한 플로우차트를 나타내는 도면. 3 is a diagram illustrating a flowchart for explaining the operation of the image information processing apparatus.
도 4는, 도 3에서의 마커 동정 처리의 상세 내용을 설명하기 위한 플로우차트를 나타내는 도면.FIG. 4 is a flowchart for explaining details of marker identification processing in FIG. 3. FIG.
도 5는, 화상 입력부에서 촬영하고 있는 마커가 1개로부터 2개로 늘어난 경우를 설명하기 위한 제1 및 제2 화상을 나타내는 도면.Fig. 5 is a diagram showing first and second images for explaining the case where the markers picked up by the image input unit increase from one to two.
도 6은, 화상 입력부에서 촬영하고 있는 마커가 2개로부터 1개로 줄어든 경우를 설명하기 위한 제1 및 제2 화상을 나타내는 도면. Fig. 6 is a diagram showing first and second images for explaining the case where the markers picked up by the image input unit are reduced from two to one.
도 7은, 동일한 마커를 복수 사용하는 경우의 일례로서 신경 쇠약 게임에 응용한 경우에서의 제1 화면을 나타내는 도면. The figure which shows the 1st screen in the case of applying to a nervous breakdown game as an example in the case of using a plurality of same markers.
도 8은, 동일한 마커를 복수 사용하는 경우의 일례로서 신경 쇠약 게임에 응 용한 경우에서의 제2 화면을 나타내는 도면. 8 is a diagram illustrating a second screen in a case where a nervous breakdown game is applied as an example of using a plurality of the same markers.
도 9는, 동일한 마커를 복수 사용하는 경우의 일례로서 신경 쇠약 게임에 응용한 경우에서의 제3 화면을 나타내는 도면. FIG. 9 is a diagram showing a third screen in the case where a plurality of the same markers are used, when applied to a nervous breakdown game. FIG.
도 10은, 동일한 마커를 복수 사용하는 경우의 일례로서 신경 쇠약 게임에 응용한 경우에서의 제4 화면을 나타내는 도면. Fig. 10 is a diagram showing a fourth screen in the case where a plurality of identical markers are used as an example of a nervous breakdown game.
도 11은, 동일한 마커를 복수 사용하는 경우의 신경 쇠약 게임에 응용한 경우에서의 제5 화면을 나타내는 도면. The figure which shows the 5th screen at the time of applying to the nervous breakdown game in the case of using multiple same markers.
도 12는, 동일한 마커를 복수 사용하는 경우의 일례로서 신경 쇠약 게임에 응용한 경우에서의 제6 화면을 나타내는 도면. FIG. 12 is a diagram illustrating a sixth screen in the case where a plurality of identical markers are used as an example of a nervous breakdown game.
도 13은, 마커의 구성의 제1 구성예를 나타내는 도면.13 is a diagram illustrating a first configuration example of the configuration of a marker.
도 14는, 마커의 구성의 제2 구성예를 나타내는 도면.14 is a diagram illustrating a second configuration example of the configuration of the marker.
도 15는, 마커의 구성의 제3 구성예를 나타내는 도면.15 is a diagram illustrating a third configuration example of the configuration of the marker.
도 16은, 마커의 구성의 제4 구성예를 나타내는 도면.16 is a diagram illustrating a fourth structural example of the configuration of the marker.
<발명을 실시하기 위한 최량의 형태><Best Mode for Carrying Out the Invention>
이하, 본 발명을 실시하기 위한 최량의 형태를 도면을 참조하여 설명한다.EMBODIMENT OF THE INVENTION Hereinafter, the best form for implementing this invention is demonstrated with reference to drawings.
본 발명의 일 실시예에 따른 화상 정보 처리 장치는, 도 1에 도시한 바와 같은 구성에, 카메라인 화상 입력부(10)와, 퍼스널 컴퓨터 등으로 구성된 제어부(20)와, 액정 디스플레이 등의 표시부(30)로 이루어진다. 또한,이들 화상 입력부(10), 제어부(20) 및 표시부(30)를 일체화한 휴대형의 장치로서 구성하여도 되는 것은 물론이다. 또한,제어부(20)의 기능의 일부를, 네트워크를 통해서 액세스 가 능한 서버상에 구성하는 것도 가능하다.An image information processing apparatus according to an embodiment of the present invention has a configuration as shown in FIG. 1, including an
상기 화상 입력부(10)는, 화상 정보 입력 수단으로서 기능한다. 상기 화상 입력부(10)는, 소정의 패턴을 갖는 표지인 마커(100)를 촬영한다. 그리고, 상기 화상 입력부(10)는, 이 촬영에 의해 얻어진 화상 정보를 제어부(20)에 입력한다. 여기에서, 상기 마커(100)는, 예를 들면, 도 2에 도시한 바와 같이, 미리 정해진 형상(본 실시예에서는 사각형)의 틀부(101)와, 그 틀부(101)의 내부에 기록된 문자를 포함하는 기호나 의장(102)으로 구성된다.The
상기 제어부(20)는, 마커 검출부(21), 위치 및 자세 검출부(22), 마커 정보 저장부(23), 관련 정보 생성부(24), 관련 정보 저장부(25) 및 중첩 화상 생성부(26)를 포함한다. 여기에서, 상기 마커 검출부(21)는, 추출 수단으로서 기능한다. 상기 마커 검출부(21)는, 상기 화상 입력부(10)에 의해 입력된 화상 정보의 화상 내로부터, 상기 틀부(101)를 검출함으로써 상기 표지로서의 마커(100)를 검출한다. 그리고,상기 마커 검출부(21)는, 그 검출 결과를 마커 정보로서 위치 및 자세 검출부(22)에 공급한다. 상기 위치 및 자세 검출부(22)는, 위치 검출 수단, 판정 수단 및 유사도 평가 수단으로서 기능한다. 상기 위치 및 자세 검출부(22)는, 상기 마커 검출부(21)로부터의 마커 정보를 이용하여, 마커 정보 저장부(23)에 저장되어 있는 정보로부터 대응하는 마커를 동정한다. 이것에 의해,상기 위치 및 자세 검출부(22)는, 카메라(화상 입력부(10))의 위치 및 자세를 검출한다. 그리고,상기 위치 및 자세 검출부(22)는, 이 검출의 결과를 관련 정보 생성부(24)에 공급한다. 상기 마커 정보 저장부(23)에는, 마커(100)의 템플릿 화상이나 마커(100) 가 배치되어 있는 위치 및 자세 정보 등의, 마커(100)에 관한 정보가 저장되어 있다. 상기 관련 정보 생성부(24)는, 상기 위치 및 자세 검출부(22)에서 검출한 상기 화상 입력부(10)의 위치 및 자세에 따라서 관련 정보 저장부(25)로부터 미리 설정된 정보를 추출하여 관련 정보를 생성한다. 그리고,상기 관련 정보 생성부(24)는, 이 생성한 관련 정보를 중첩 화상 생성부(26)에 공급한다. 상기 관련 정보 저장부(25)에는, 모델 공간상에 배치된 모델의 위치 및 자세 정보나 형상 정보, 속성 정보 등의 관련 정보가 저장되어 있다. 상기 중첩 화상 생성부(26)는, 상기 화상 입력부(10)로부터의 화상 정보와 상기 관련 정보 생성부(24)에서 생성한 관련 정보를 중첩한다. 그리고,상기 중첩 화상 생성부(26)는, 이 중첩에 의해 생성한 중첩 화상을, 상기 표시부(30)에 공급한다.The
또한,상기 표시부(30)는, 상기 중첩 화상 생성부(26)에서 생성된 중첩 화상을 표시하는 것이다.In addition, the
이상과 같은 구성의 화상 정보 처리 장치의 동작을, 도 3의 플로우차트를 참조하여, 상세히 설명한다.The operation of the image information processing apparatus having the above configuration will be described in detail with reference to the flowchart of FIG. 3.
우선,화상 입력부(10)는, 화상을 촬영하고, 얻어진 화상 정보를 제1 화상 정보로서 마커 검출부(21)에 입력한다(스텝 S10). 마커 검출부(21)는, 그 입력된 제1 화상 정보의 화상 내에 포함되는 마커(100)의 검출을 행한다(스텝 S12). 이것은, 우선,마커(100)의 틀부(101)를 검출함으로써, 마커 후보를 검출한다. 이 틀부(101)의 검출은, 공지의 화상 처리 방법이므로, 그 상세 설명은 생략한다. 이 때, 검출되는 마커 후보는 하나로 한정되지 않는다. 다음으로,그 검출되는 각 마 커 후보의 틀부(101)의 네 코너의 화상 내에서의 좌표를 검출하고, 각 틀부(101)의 내부를 추출하여 각각 아핀 변환을 행한다. 그리고,아핀 변환 후의 각 화상과 마커 정보 저장부(23)에 미리 등록해 있는 마커의 템플릿 화상(예를 들면, 「50」등의 기호나 의장(102)을 갖는 마커의 화상)과의 패턴 매칭을 각각 행한다. 그 결과, 마커의 템플릿 화상과 일치하는 화상이 없으면, 마커(100)가 검출되지 않은 것으로 하여(스텝 S14), 상기 스텝 S10의 화상 입력 스텝으로 되돌아간다.First, the
한편,마커의 템플릿 화상과 일치하는 화상이 있으면, 마커 검출부(21)는, 마커(100)가 검출된 것으로 한다(스텝 S14). 이 경우, 위치 및 자세 검출부(22)는, 상기 마커 검출부(21)에 의해 검출한 해당 마커의 틀부(101)의 네 코너의 좌표로부터, 그 틀부(101)의 중심 좌표를 각각 구하고, 각 마커(100)의 위치 정보로 한다(스텝 S16). 그리고,검출한 각 마커에 ID를 할당한다(스텝 S18). 또한,각 마커의 ID와 위치 정보를 내부 메모리(도시 생략)에 기억한다(스텝 S20).On the other hand, if there is an image that matches the template image of the marker, the
그 후, 다시, 화상 입력부(10)는, 화상을 촬영하고, 얻어진 화상 정보를 제2 화상 정보로서 마커 검출부(21)에 입력한다(스텝 S22). 마커 검출부(21)는, 상기 스텝 S12와 마찬가지로 하여, 그 입력된 제2 화상 정보의 화상 내에 포함되는 마커(100)의 검출을 행한다(스텝 S24). 여기에서, 마커(100)가 검출되지 않으면(스텝 S26), 상기 스텝 S22의 화상 입력 스텝으로 되돌아간다.Thereafter, the
한편,마커(100)가 검출된 경우에는(스텝 S26), 위치 및 자세 검출부(22)는, 상기 스텝 S16과 마찬가지로 하여, 각 마커(100)의 위치 정보를 검출한다(스텝 S28). 그리고 또한,해당 위치 및 자세 검출부(22)는, 마커 동정 처리를 실행한 다(스텝 S30).On the other hand, when the
이 스텝 S30의 마커 동정 처리는, 도 4에 도시한 바와 같이, 우선,상기 제1 화상으로부터 검출한 각 마커 및 상기 제2 화상으로부터 검출한 각 마커의, 화상 유사도를 비교한다(스텝 S301). 이것은, 제1 화상의 마커, 제2 화상의 마커의 구별 없이, 각 마커의 유사도를 비교하는 것이다. 여기에서, 동일한 (유사의) 마커가 없으면(스텝 S302), 제1 화상으로부터 검출하여 기억하고 있는 마커의 ID를 전부 클리어한다(스텝 S303). 그리고,제2 화상으로부터 검출한 마커 전부에 대하여, 새롭게 ID를 할당하여(스텝 S304), 이 마커 동정 처리를 종료한다.As shown in FIG. 4, the marker identification processing of step S30 first compares the image similarity of each marker detected from the first image and each marker detected from the second image (step S301). This compares the similarity degree of each marker, without distinguishing between the marker of a 1st image, and the marker of a 2nd image. If the same (similar) marker is not present (step S302), all the IDs of the markers detected and stored from the first image are cleared (step S303). Then, IDs are newly assigned to all the markers detected from the second image (step S304), and the marker identification processing ends.
이에 대하여, 동일한 (유사의) 마커가 있으면(스텝 S302), 동일한 (유사의) 마커끼리를 관련짓는다(스텝 S305). 이 관련짓기는, (1) 제1 화상의 마커만의 관련짓기, (2) 제2 화상의 마커만의 관련짓기, (3) 양쪽의 화상의 마커가 포함되는 관련짓기, 의 3종류가 가능하다. 다음으로,각 관련지어진 마커끼리 내에서, 서로의 거리가 가까운 순으로, 제2 화상으로부터 검출한 마커를, 제1 화상으로부터 검출한 마커에 대응지어 간다(스텝 S306). 이것은 각 관련짓기마다 행하는 것이지만, 당연히, 상기 (3)의 양쪽의 화상의 마커가 포함되는 관련짓기의 경우에만, 대응지어진다. 제1 화상의 마커와 제2 화상의 마커에서 수가 서로 다르면, 많은 쪽에서 「나머지」가 생긴다. 또한,상기 (1)의 제1 화상의 마커만의 관련짓기 및 (2)의 제2 화상의 마커만의 관련짓기의 경우에는, 전체 마커가 「나머지」로 된다.In contrast, if the same (similar) markers exist (step S302), the same (similar) markers are associated with each other (step S305). This association can be performed in three types: (1) associating only the marker of the first image, (2) associating only the marker of the second image, and (3) associating including the markers of both images. Do. Next, in the associated markers, the markers detected from the second image are associated with the markers detected from the first image in the order in which the distances are close to each other (step S306). This is done for each association, but of course, it is associated only in the case of the association in which the markers of both images of (3) are included. If the numbers of the markers of the first image and the markers of the second image are different from each other, "rest" occurs in many of them. In the case of associating only the marker of the first image of (1) and only the marker of the second image of (2), all the markers are "rest."
다음으로,각 관련지어진 마커끼리 내에서, 상기 대응지어진 분에 대하여, 제1 화상으로부터 검출한 마커의 ID를 제2 화상으로부터 검출한 마커의 ID에 전기 한다(스텝 S307). 이것은 각 관련짓기마다 행하는 것이며, 상기 스텝 S307에서 대응지어지지 않았던 「나머지」는 전기 대상 외로 된다.Next, in each associated marker, the ID of the marker detected from the first image is posted to the ID of the marker detected from the second image with respect to the correspondence (step S307). This is done for each association, and the "rest" that is not associated in step S307 becomes out of the target of electricity.
그리고,상기 전기된 ID를 제외하고, 제1 화상으로부터 검출한 마커의 ID를 전부 클리어한다(스텝 S308). 즉, 제2 화상에는 없는, 제1 화상만의 마커는 ID를 전부 클리어한다. 또한,상기 ID가 전기된 이외의, 제2 화상으로부터 검출한 마커 전부에 대하여, 새롭게 ID를 할당한다(스텝 S09). 즉, 제2 화상에서 신규로 발생한 마커는, ID를 신규로 할당한다. 그리고,이 마커 동정 처리를 종료한다.Then, except for the above-described ID, all the IDs of the markers detected from the first image are cleared (step S308). That is, the marker only for the first image that is not present in the second image clears all the IDs. Furthermore, IDs are newly assigned to all the markers detected from the second image except for the above-mentioned IDs (step S09). That is, a marker newly generated in the second image assigns a new ID. And this marker identification process is complete | finished.
여기에서, 이 마커 동정 처리까지의 동작을, 구체예를 이용하여 설명한다.Here, the operation until this marker identification process is demonstrated using a specific example.
우선,도 5에 의해, 화상 입력부(10)에서 촬영하고 있는 마커가 1개로부터 2개로 늘어난 경우를 설명한다. 여기에서, 마커(100C)는 마커(100A)와 동일한 마커이며, 마커(100B)는 새롭게 보인 마커로 상정한다. 또한,이들 마커(100A, 100B, 100C)는 동일 디자인(기호나 의장(102)이 동일)의 마커이다.First, the case where the markers imaged by the
즉, 상기 스텝 S10 내지 스텝 S20의 처리에 의해, 제1 화상(41)에서 마커(마커(100A))가 1개 검출된다. 이 마커는 「50」의 기호나 의장(102)을 갖는 마커이며, (예를 들면, 화상 좌상을 (0, 0)으로 하는 좌표에서) 그 중심 좌표가 (80, 80), ID는 「1」로 기억된다. 또한,상기 스텝 S22 내지 스텝 S28의 처리에 의해, 제2 화상(42)에서, 마커가 2개 검출된다. 여기에서, 한쪽의 마커(10OB)는 「50」의 기호나 의장(102)을 갖고, 중심 좌표는 (10,10)의 마커, 다른 쪽의 마커(100C)는 동일하게 「50」의 기호나 의장(102)을 갖고, 중심 좌표는 (90, 90)의 마커인 것으로 검출된다.That is, one process (
이와 같은 경우, 동정 처리에서는,우선,상기 스텝 S301, S305, S306의 처리에 의해, 제1 화상(41)에서 검출한 ID가 「1」인 마커(100A)에 대하여, 현재의 제2 화상(42)에서 검출한 마커(100B), 마커(100C) 내에서 가장 거리가 가까운 마커를 찾는다. 여기에서, ID 「1」의 마커(100A)의 중심 좌표가 (80, 80)이므로, 중심 좌표가 (90, 90)인 마커(100C)의 쪽이 중심 좌표가 (10, 10)인 마커(100B)에 비하여 거리가 가깝다. 따라서,상기 스텝 S306, S307의 처리에 의해, 중심 좌표(90, 90)의 마커(100C)의 ID를 「1」로 세트한다. 또한,제1 화상(41)에서 검출한 마커수는 1개이므로, 남은 중심 좌표(10, 10)의 마커 B는, 현재의 제2 화상(42)에서 신규로 검출한 마커인 것으로 판단하고, 상기 스텝 S309의 처리에 의해, ID로서 「2」를 세트한다.In such a case, first, in the identification processing, the current second image (for the
이상으로부터, 제1 화상(41)에서 중심 좌표(80, 80)에서 검출한 「50」의 기호나 의장(102)을 갖는 마커(100A)는, 현재의 제2 화상(42)에서 중심 좌표(90, 90)에서 검출한 「50」의 기호나 의장(102)을 갖는 마커(100C)라고 인식하는 것이 가능하게 된다. 또한,현재의 제2 화상(42)으로부터 중심 좌표(10, 10)에서 검출한 동일하게 「50」의 기호나 의장(102)을 갖는 마커(100B)는, 신규 검출 마커로서 인식하는 것이 가능하게 된다.As mentioned above, the
다음으로,도 6에 의해, 화상 입력부(10)에서 촬영하고 있는 마커가 2개로부터 1개로 줄어든 경우를 설명한다. 여기에서, 마커(100F)는 마커(100E)와 동일한 마커, 마커(100D)는 보이지 않게 된 마커인 것으로 상정한다.Next, the case where the marker image | photographed by the
즉, 상기 스텝 S10 내지 스텝 S20의 처리에 의해, 제1 화상(51)에서 마커가 2개 검출된다. 한쪽의 마커(100D)는 「50」의 기호나 의장(102)을 갖고, 중심 좌표는 (10, 10)이고 ID는 「1」인 마커인 것으로 기억된다. 다른 쪽의 마커(100E)는 동일하게 「50」의 기호나 의장(102)을 갖고, 중심 좌표는 (90, 90)이고 ID는 「2」인 마커인 것으로 기억된다. 또한,상기 스텝 S22 내지 스텝 S28의 처리에 의해, 제2 화상(52)에서, 마커(마커(100F))가 1개 검출된다. 그 마커는 「50」의 기호나 의장(102)을 갖고, 그 중심 좌표가 (80, 80)인 마커인 것으로 검출된다.That is, by the process of said step S10-step S20, two markers are detected in the
이와 같은 경우, 동정 처리에서는,우선,상기 스텝 S301, S305, S306에서 이하의 처리를 행한다. 즉, 우선 제1 화상(51)에서 검출한 ID가 「1」인 마커(100D)에 대하여, 현재의 제2 화상(52)에서 검출한 마커(100F)와의 거리를 구한다. 다음에 제1 화상(51)에서 검출한 lD가 「2」인 마커(100E)에 대하여, 현재의 제2 화상(52)에서 검출한 마커(100F)와의 거리를 구한다. 그리고,마커(100F)는 중심 좌표(80, 80)이므로, 중심 좌표(90, 90)의 마커(100E)가 가장 거리가 가까우므로, 상기 스텝 S306, S307의 처리에 의해, 마커(100F)의 ID를 「2」로 세트한다.In such a case, first, in the identification processing, the following processing is performed in the above steps S301, S305, and S306. That is, first, the distance from the
또한,제1 화상(51)에서 검출한 마커수는 2개므로, 남은 중심 좌표(10, 10)의 마커(100D)는, 다음의 제2 화상(52)에서 검출할 수 없게 된 마커인 것으로 판단하고, 상기 스텝 S308의 처리에 의해, ID 「1」을 클리어한다.In addition, since the number of markers detected by the
이상에 의해, 전의 제1 화상(51)에서 중심 좌표(90, 90)에서 검출한 「50」의 기호나 의장(102)을 갖는 마커(100E)는, 다음의 제2 화상(52)에서 중심 좌표(80, 80)에서 검출한 「50」의 기호나 의장(102)을 갖는 마커(100F)인 것으로 인식하는 것이 가능하게 된다. 또한,제1 화상(51)에서 중심 좌표(10, 10)에서 검출 한 「50」의 기호나 의장(102)을 갖는 마커(100D)는, 검출할 수 없게 된 마커로서 인식하는 것이 가능하게 된다.By the above, the
상기 위치 및 자세 검출부(22)는, 이상과 같은 마커 동정 처리를 실시하여, 제2 화상에서의 각 마커에 ID를 할당하면, 각 마커의 ID와, 상기 스텝 S28에서 검출한 각 마커의 위치 정보를 내부 메모리(도시 생략)에 기억한다(스텝 S32).When the position and
그리고,위치 및 자세 검출부(22), 또한,마커 정보 저장부(23)로부터 동정한 각 마커의 공간 정위 정보(마커가 배치되어 있는 위치 및 자세 정보)를 입수한다. 그리고,화상 내에서의 해당 마커의 틀부(101)의 네 코너의 위치로부터 카메라(화상 입력부(10))의 위치 및 자세를 검출한다(스텝 S34). 또한,마커로부터 카메라의 위치 및 자세를 구하는 방법은, 예를 들면, “A High Accurasy Realtime 3D Measuring Method of Marker for VR Interface by Monocular Vision"(3D Image Conference '96 Proceeding pp.167-172, Akira Takahashi, Ikuo Ishii, Hideo Makino, Makoto Nakashizuka, 1996)에 개시되어 있으므로, 그 상세 설명은 생략한다.Then, the positional and
그리고,관련 정보 생성부(24)는, 상기 위치 및 자세 검출부(22)에서 검출한 카메라(화상 입력부(10))의 위치 및 자세에 따라서 관련 정보 저장부(25)로부터 미리 설정된 정보를 추출하여 관련 정보를 생성한다(스텝 S36). 중첩 화상 생성부(26)는, 상기 화상 입력부(10)로부터의 화상과 그 관련 정보 생성부(24)에서 생성한 관련 정보를 중첩하여, 표시부(30)에 중첩 화상을 표시한다(스텝 S38).The
이상과 같이 하여, 동일한 디자인(동일한 기호나 의장(102)을 가짐)의 마 커(100)를 동시에 복수 촬영한 경우이어도, 각각의 마커(100)를 구별 가능하게 된다. 또한,복수의 화상 간에서 각 화상 내에 존재하는 마커(100)의 다르고같음을 판정하는 것이 가능하게 된다.As described above, even when a plurality of
[적용예][Application Example]
여기서, 동일(동일한 기호나 의장(102)을 가짐)한 마커(100)를 복수 사용하는 경우의 일례로서, 본 실시예를 신경 쇠약 게임에 응용한 경우에 대하여 설명한다.Here, as an example of the case where a plurality of
이 신경 쇠약 게임은, 처음에 1매째의 카드를 넘기고, 다음에 2매째의 카드를 넘겼을 때, 1매째와 2매째가 동일한 카드이었다면, 1매째의 카드의 관련 정보로서 표시하고 있던 캐릭터가 2매째의 카드의 위치로 이동하는 것이다.When this first breakdown game first handed over the first card, and then turned over the second card, if the first and the second were the same card, the character displayed as the related information of the first card is the second. Let's move to the position of the card.
즉, 도 7은, 마커(100)를 인쇄한 카드(200)를 뒤집어 놓고 있는 상태를 촬영하였을 때의 표시부(30)의 화면(31)을 나타내는 도면이다. 이 경우, 화면(31) 내에는, 카드(200)가 4매 있지만, 마커(100)를 인식하지 않고 있기 때문에 아무것도 표시되어 있지 않다.That is, FIG. 7: is a figure which shows the
도 8은, 카드(200)를 1매 뒤집어 놓은 상태를 촬영하였을 때의 화면(32)을 나타내고 있다. 이 때의 화면(32)에서는, 뒤집은 카드(200)에 인쇄된 「50」의 기호나 의장(102)을 갖는 마커(100)가 1개 검출된다. 그것에 의해, 그 「50」의 기호나 의장(102)에 대응한 관련 정보인 캐릭터(60)(이 경우에는 「자동차」)가, 그 뒤집은 카드(200)의 위치 및 자세에 따른 위치 및 자세로 표시된다.FIG. 8 shows the
도 9는, 또 1매의 카드(200)를 뒤집어 놓은 상태를 촬영하였을 때의 화 면(33)을 나타내는 도면이다. 이 화면(33)에서는, 동일한 「50」의 기호나 의장(102)을 갖는 마커(100)가 2개 검출된다. 따라서,「50」의 기호나 의장(102)에 대응한 동일한 캐릭터(60)(이 경우에는 「자동차」)가, 각각의 카드(200)의 위치 및 자세에 따라서 2대 표시된다.FIG. 9 is a diagram showing a
또한,물론, 신경 쇠약 게임이기 때문에, 다른 기호나 의장(102)을 갖는 카드가 2매째로서 뒤집어 놓인 상태를 촬영하는 경우도 종종 있다. 그 경우에는, 그 2매째의 카드에 인쇄된 마커의 기호나 의장(102)에 대응하는 캐릭터가, 그 2매째의 카드의 위치까지 자세에 따라서 표시되게 된다.In addition, of course, because it is a nervous breakdown game, it is often taken to photograph a state in which a card having another symbol or
그리고,도 9와 같이, 마커의 기호나 의장(102)이 합치한 경우에는, 그림 맞추기가 성공이다. 따라서, 그와 같은 경우에는, 그것을 정시하기 위해서, 도 9의 화면(33)으로부터, 도 10 내지 도 12에 도시한 바와 같은 화면(34 내지 36)과 같이, 표시를 변천시킨다. 즉, 도 10의 화면(34)은, 1매째에 검출한 「50」의 기호나 의장(102)을 갖는 마커(100)의 위치로부터, 2매째에 검출한 「50」의 기호나 의장(102)을 갖는 마커(100)를 향하여, 캐릭터(60)(이 경우에는 「자동차」)가 이동하고 있는 모습을 표시하고 있다. 도 11의 화면(35)은, 그 캐릭터(60)(이 경우에는 「자동차」)의 이동이 완료되고, 하나의 큰 캐릭터(61)에 표시를 변경하고 있다. 그리고,도 12의 화면(36)에서는, 그 캐릭터(61) 대신에, 성공한 것을 나타내는 문자(62)를 표시하고 있다.Then, as shown in Fig. 9, when the symbol of the marker and the
이와 같이, 동일 디자인의 마커를 복수 사용하여도, 각각의 마커를 구별할 수 있기 때문에, 예를 들면 신경 쇠약 게임에의 응용을 비롯하여, 다양한 용도로 응용하는 것이 가능하게 된다.In this way, even if a plurality of markers of the same design are used, the respective markers can be distinguished, and therefore, the markers can be used for various purposes, for example, in applications to nervous breakdown games.
이상, 일 실시예에 기초하여 본 발명을 설명하였지만, 본 발명은 전술한 일 실시예에 한정되는 것이 아니라, 본 발명의 요지의 범위 내에서 다양한 변형이나 응용이 가능한 것은 물론이다.As mentioned above, although this invention was demonstrated based on one Example, this invention is not limited to an Example mentioned above, Of course, various deformation | transformation and application are possible within the scope of the summary of this invention.
예를 들면, 상기 일 실시예에서는, 제어부(20)의 각 구성을 하드웨어로서 실현한 경우를 설명하였지만, 컴퓨터 프로그램의 형태로 하고, 그것을 컴퓨터에서 실행함으로써 마찬가지의 기능을 실현하는 것이어도 된다. 예를 들면, 제어부(20)의 각 구성을 컴퓨터 프로그램의 형태로 하고, 컴퓨터가 구비하는 프로그램 메모리에 미리 그 컴퓨터 프로그램을 기억시켜 두어도 된다. 또한,예를 들면 제어부(20)의 각 구성을 컴퓨터 프로그램의 형태로 하고, CD-ROM 등의 기록 매체에 의해 그 컴퓨터 프로그램을 제공하고, 해당 컴퓨터 프로그램을 그 기록 매체로부터 읽어들이어 컴퓨터가 구비하는 프로그램 메모리에 기억시켜도 된다. 또한,인터넷이나 LAN 등의 네트워크를 통하여 외부의 기록 매체에 기록된 것을 다운로드하여, 프로그램 메모리에 기억시킨 것이어도 무방하다.For example, in the above embodiment, the case where the respective configurations of the
또한,상기 실시예에서는, 제1 화상과 제2 화상의 2 화상을 사용하는 경우에 대해서만 설명하였지만, 3 화상 이상을 이용하여도 되고, 움직임의 예측을 적용하는 것도 가능하다.In the above embodiment, only the case where two images of the first image and the second image are used has been described, but three or more images may be used, and motion prediction may be applied.
또한,상기 일 실시예에서는 도 2에 도시한 바와 같이, 상기 마커(100)는, 미리 정해진 형상의 틀부(101)와, 그 틀부(101)의 내부에 기록된 문자를 포함하는 기호나 의장(102)으로 구성되는 것으로 하였다. 그러나, 마커(100)의 구성은, 이 러한 구성에 한정되지 않는다. 예를 들면 이하에 기재하는 4개의 구성예를 비롯하여, 다양한 구성이 고려된다.In addition, in the above-described embodiment, as shown in FIG. 2, the
<제1 구성예><First Configuration Example>
마커(100)를, 예를 들면 도 13에 도시한 바와 같이, 의장(102)을 원형, 다각형, 또는 자유 곡선의 틀부(101)로 둘러싼 구성으로 하여도 물론 된다(도 13에 도시한 예에서는 틀부(101)는 원형).For example, as shown in FIG. 13, the
<제2 구성예><2nd structural example>
또한,마커(100)를, 예를 들면 도 14에 도시한 바와 같이, 틀부(101) 자체가 그 틀부(101) 내부의 의장(102)의 일부로 되는 구성으로 하여도 물론 된다.In addition, as shown, for example in FIG. 14, the
<제3 구성예><3rd structural example>
마커(100)를, 예를 들면 도 15에 도시한 바와 같이, 틀부 자체를 존재시키지 않고, 의장(102) 만으로, 다른 마커와 구별 가능한 구성으로 하여도 물론 된다.For example, as shown in FIG. 15, the
<제4 구성예>Fourth Configuration Example
마커(100)를, 예를 들면 도 16에 도시한 바와 같이, 의장(102)(이 예에서는 사람의 얼굴)의 주변에 기호적인 심볼(102A)(이 예에서는 하트 형상의 마크)을 배치하는 구성으로 하여도 물론 된다.As shown in Fig. 16, for example, the
또한,마커(100)를, 도 13 내지 도 15에 도시한 바와 같은 구성으로 하는 경우에는, 마커(100)의 특정을 위해서는, 반드시 상기 스텝 S12 및 상기 스텝 S14에서의 처리에 의한 패턴 매칭의 방법을 이용하지 않아도 된다. 즉, 예를 들면 화상 입력부(10)로부터 얻어지는 화상 정보로부터, 화상적으로 특징을 갖는 점(이후, ' 특징점'이라 함)을 추출하고, 마커 정보 저장부(23)에 미리 등록해 있는 마커의 템플릿 화상에서의 각 특징점과의 유사도를 평가함으로써, 화상 정보에 포함되는 마커(100)를 특정하는 것이 가능하게 된다.In addition, in the case where the
마커(100)의 특정을 위해, 상기한 바와 같이 특징점에 의한 매칭 방법을 채용한 경우에는, 마커(100)가 서로 겹쳐 있거나, 마커(100)의 일부가 빠져 있는 화상 정보이어도, 마커(100)를 특정하는 것이 가능하게 된다. 즉, 마커(100)의 특정을 위해서는, 상기한 바와 같이 특징점에 의한 매칭 방법을 채용하는 것은, 실용상 효과적이다.When the matching method by the characteristic point is employ | adopted as mentioned above for the specification of the
또한,상기한 바와 같은 특징점에 의한 매칭 방법을, 위치 및 자세 검출부(22)에 의한 마커(100)의 위치 정보의 산출(상기 스텝 S16)에 적용하여도 물론 된다. 즉, 위치 및 자세 검출부(22)는, 마커(100)의 위치 정보를, 해당 마커(100)의 틀부(101)의 네 코너의 좌표로부터 구하는 것이 아니라, 이하와 같이 구해도 된다. 즉, 상기 화상 정보 내를 차지하는 마커(100)의 픽셀의 무게 중심, 마커(100)의 특징점의 무게 중심, 또는 마커(100)의 특징점 중 가장 넓어진 복수의 점에 기초하여, 마커(100)의 위치 정보를 산출하여도 물론 된다. 여기에서, 상기 "마커(100)의 특징점 중 가장 넓어진 복수의 점"은, 예를 들면, 3점이나 4점이어도 되고, 그 이상의 개수의 점이어도 된다. 또한, 마커(100)의 모든 특징점을 내포할 수 있도록, 동적으로 해당 점의 수를 변화시켜도 물론 된다.In addition, the matching method by the feature point mentioned above may be applied to calculation of the positional information of the
또한,상기 위치 및 자세 검출부(22)에서 구하는 각 마커(100)의 위치 정보는, 각 마커(100)의 상기 화상 정보 내에서의 위치뿐만 아니라, 그 위치에서의 방 향의 정보를 가질 수 있는 것은 물론이다. 여기에서, 상기 방향의 정보란, 예를 들면 마커 정보 저장부(23)에의 마커(100)의 템플릿 화상의 등록 시에서의 상 방향을 기준의 방향(기준 축)으로 한 경우에, 상기 화상 정보 내에서 특정한 마커(100)의 상 방향이, 상기 기준 축으로부터 얼마만큼 회전하고 있는지를 나타내는 정보이다. 또한,이 회전은, 이차원적인 회전에 한정되는 것은 아니다. 즉, 예를 들면 마커(100)의 사다리꼴 왜곡으로부터 마커의 삼차원적인 자세를 산출하여도 된다. 그리고,이 산출은, 공지의 기술로 가능하다. 이와 같은 산출에 의해 얻어지는, 마커(100)가 갖는 방향의 정보는, 삼차원 공간에서의 자세 정보라고 할 수 있다. 또한,마커(100)의 사다리꼴 왜곡은, 도 2에 도시한 바와 같은 사각 틀로부터 구해지는 것은 물론, 전술한 특징점에 의한 매칭 방법에 의해서도, 해당 특징점의 상대적인 위치를 고려함으로써 구할 수 있는 것은 물론이다.In addition, the position information of each
Claims (7)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020087022917A KR20080100371A (en) | 2008-09-19 | 2006-03-20 | Video image information processing device, judging method and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020087022917A KR20080100371A (en) | 2008-09-19 | 2006-03-20 | Video image information processing device, judging method and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20080100371A true KR20080100371A (en) | 2008-11-17 |
Family
ID=40286954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020087022917A KR20080100371A (en) | 2008-09-19 | 2006-03-20 | Video image information processing device, judging method and computer program |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20080100371A (en) |
-
2006
- 2006-03-20 KR KR1020087022917A patent/KR20080100371A/en not_active Application Discontinuation
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4958497B2 (en) | Position / orientation measuring apparatus, position / orientation measuring method, mixed reality presentation system, computer program, and storage medium | |
US10713528B2 (en) | System for determining alignment of a user-marked document and method thereof | |
JP6507730B2 (en) | Coordinate transformation parameter determination device, coordinate transformation parameter determination method, and computer program for coordinate transformation parameter determination | |
CN103189827B (en) | Object display apparatus and object displaying method | |
US20090010496A1 (en) | Image information processing apparatus, judging method, and computer program | |
TWI394093B (en) | An image synthesis method | |
JP2011198349A (en) | Method and apparatus for processing information | |
JP5631086B2 (en) | Information processing apparatus, control method therefor, and program | |
CN104246793A (en) | Three-dimensional face recognition for mobile devices | |
JPWO2008090908A1 (en) | Marker generation and marker detection system, method and program | |
EP3093822B1 (en) | Displaying a target object imaged in a moving picture | |
JP2010287174A (en) | Furniture simulation method, device, program, recording medium | |
CN110546679A (en) | Recognition device, recognition system, recognition method, and recognition program | |
US20230410361A1 (en) | Image processing system, processing method, and non-transitory storage medium | |
JP5767887B2 (en) | Image processing apparatus, image processing method, and image processing program | |
KR20080100371A (en) | Video image information processing device, judging method and computer program | |
JP4455294B2 (en) | Image information processing apparatus, determination method, and computer program | |
JP2011071746A (en) | Video output device, and video output method | |
JP2017138743A (en) | Image processing apparatus, image processing method, and program | |
JP4380376B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2021047516A (en) | Information processing device, coordinate conversion system, coordinate conversion method, and coordinate conversion program | |
JP2005227929A (en) | Processing method for photography image of object, image display system, program and recording medium | |
JP7256314B2 (en) | Positional relationship determination device | |
JP6805375B2 (en) | Information processing equipment, information processing methods and information processing programs | |
WO2019053790A1 (en) | Position coordinate calculation method and position coordinate calculation device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |