KR20080100371A - Video image information processing device, judging method and computer program - Google Patents

Video image information processing device, judging method and computer program Download PDF

Info

Publication number
KR20080100371A
KR20080100371A KR1020087022917A KR20087022917A KR20080100371A KR 20080100371 A KR20080100371 A KR 20080100371A KR 1020087022917 A KR1020087022917 A KR 1020087022917A KR 20087022917 A KR20087022917 A KR 20087022917A KR 20080100371 A KR20080100371 A KR 20080100371A
Authority
KR
South Korea
Prior art keywords
image
marker
detected
images
extracted
Prior art date
Application number
KR1020087022917A
Other languages
Korean (ko)
Inventor
아끼또 사이또
유이찌로 아까쯔까
다까오 시바사끼
유끼히또 후루하시
Original Assignee
올림푸스 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 올림푸스 가부시키가이샤 filed Critical 올림푸스 가부시키가이샤
Priority to KR1020087022917A priority Critical patent/KR20080100371A/en
Publication of KR20080100371A publication Critical patent/KR20080100371A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759Region-based matching

Abstract

In a video image information processing device, a video input unit (10) inputs a video image information, a marker detecting unit (21) detects a marker (100) from a video image of the input video image information, a position and posture detecting unit (22) detects a position of the marker (100) of the video image and judges differences between extracted marks in a plurality of video images, respectively. In that case, the position and posture detecting unit (22) is provided with judging conditions based on the position of each marker (100) as at least selectively applied judging conditions.

Description

화상 정보 처리 장치, 판정 방법 및 컴퓨터 프로그램{VIDEO IMAGE INFORMATION PROCESSING DEVICE, JUDGING METHOD AND COMPUTER PROGRAM}IMAGE IMAGE INFORMATION PROCESSING DEVICE, JUDGING METHOD AND COMPUTER PROGRAM

본 발명은, 복수의 화상 간에서 각 화상 내에 존재하는 표지의 다르고같음(同異)을 판정하는 화상 정보 처리 장치, 판정 방법 및 컴퓨터 프로그램에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image information processing apparatus, a judging method, and a computer program for judging the difference between the plurality of images and the same mark in each image.

실제 세계에서의 대상물 및/또는 기정의 표지(마커)에 대하여, 소정의 관련 정보를 정시하는 정보 정시 장치로서는, 바코드 리더가 일반적으로 잘 알려져 있다. 그 중, 대상물 및/또는 기정의 마커의 공간 정보를 이용하여, 정보를 정시하는 장치가 있다.BACKGROUND ART A bar code reader is generally well known as an information presenting device for specifying predetermined related information about an object and / or a predetermined mark (marker) in the real world. Among them, there is an apparatus for specifying information by using spatial information of an object and / or a predetermined marker.

이와 같은 장치로서, 예를 들면, USP6,389,182호 공보에는, 이하와 같은 기술이 개시되어 있다. 즉, 명함 상에 인쇄된 2차원 코드를 카메라로 읽어 들이고, 컴퓨터 내의 프로그램으로 ID를 해석한다. 그리고,이 ID에 상당하는 인물의 얼굴 사진을, 마치 명함 상의 2차원 코드의 옆에 있는 것처럼, 컴퓨터 상의 디스플레이에 표시한다.As such an apparatus, for example, US Pat. No. 6,389,182 discloses the following technique. That is, the two-dimensional code printed on the business card is read by the camera, and the ID is analyzed by a program in the computer. Then, the face picture of the person corresponding to this ID is displayed on the display on the computer as if it is next to the two-dimensional code on the business card.

그러나, 상기 USP6,389,182호 공보에 개시되어 있는 바와 같은 기술에서는, 동일 디자인의 표지(마커)가 복수매의 화상 내에 존재하면,동일한 마커로 인식된 다. 이것은, 각각의 마커의 구별을 할 수 없다고 하는 문제에 의한 것이다.However, in the technique as disclosed in the above-mentioned US Pat. No. 6,389,182, if a cover (marker) of the same design exists in a plurality of images, it is recognized as the same marker. This is due to the problem that each marker cannot be distinguished.

<발명의 개시><Start of invention>

본 발명은, 상기한 점을 감안하여 이루어진 것으로, 복수의 화상 간에서 각 화상 내에 존재하는 표지의 다르고같음을 판정하는 것이 가능한 화상 정보 처리 장치, 판정 방법 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.This invention is made | formed in view of the above point, and an object of this invention is to provide the image information processing apparatus, the determination method, and the computer program which can determine the difference and the same of the mark which exists in each image among a some image.

본 발명의 화상 정보 처리 장치의 일 양태는, 화상 정보를 입력하는 화상 정보 입력 수단과, 상기 화상 정보 입력 수단에 의해 입력된 화상 정보의 화상 내에서, 표지를 추출하는 추출 수단과, 상기 추출 수단에서 추출된 표지의 상기 화상 내에서의 위치를 검출하는 위치 검출 수단과, 복수의 화상에서 각각 추출된 표지 간의 다르고같음을 판정하는 수단이며, 적어도 선택적으로 적용되는 판정 조건으로서, 상기 위치 검출 수단에 의해 검출된 해당 각 표지의 위치에 기초하는 판정 조건을 구비하는 판정 수단을 포함하는 것을 특징으로 한다.An aspect of the image information processing apparatus of the present invention includes image information input means for inputting image information, extraction means for extracting a cover in an image of image information input by the image information input means, and the extraction means. A position detecting means for detecting a position in the image of the cover sheet extracted in step S, and means for determining a difference between the cover sheets extracted from the plurality of images, respectively, and which are at least selectively applied to the position detecting means. And judging means having judging conditions based on the positions of the respective markers detected by the mark.

또한,본 발명의 복수의 화상 간에서 각 화상 내에 존재하는 표지의 다르고같음을 판정하는 방법의 일 양태는, 복수의 화상을 입력하는 스텝과, 상기 입력된 각 화상 내에서, 표지를 유출하는 스텝과, 상기 추출된 표지의 화상 상의 위치를 검출하는 스텝과, 적어도 선택적으로 상기 검출된 상기 표지의 위치에 기초하는 판정 조건을 적용하여, 상기 입력된 복수의 화상에서 각각 추출된 화상 표지 간의 다르고같음을 판정하는 스텝을 구비하는 것을 특징으로 한다.In addition, one aspect of the method for determining whether the indicia present in each image is different among the plurality of images of the present invention is a step of inputting a plurality of images and a step of flowing out the indicia in each of the input images. And a step of detecting a position on the image of the extracted marker and at least optionally a determination condition based on the detected position of the marker, wherein the image markers extracted from the plurality of input images are different from each other. Characterized in that it comprises a step of determining.

또한,본 발명의 컴퓨터 프로그램의 일 양태는, 컴퓨터에 복수의 화상 간에서 각 화상 내에 존재하는 표지의 다르고같음을 판정시키는 컴퓨터 프로그램으로 서, 컴퓨터에, 복수의 화상을 입력시키고, 상기 입력된 각 화상 내에서, 표지를 추출시키고, 상기 추출된 표지의 화상 상의 위치를 검출시키며, 적어도 선택적으로 상기 검출된 상기 표지의 위치에 기초하는 판정 조건을 적용하여, 상기 입력된 복수의 화상에서 각각 추출된 화상 표지 간의 다르고같음을 판정시키는 것을 특징으로 한다.In addition, one aspect of the computer program of the present invention is a computer program for determining, by a computer, that a cover page existing in each image is different among a plurality of images. In the image, a cover sheet is extracted, a position on the image of the extracted cover sheet is detected, and at least selectively applied to a determination condition based on the detected position of the cover sheet, each extracted from the plurality of input images. It is characterized by determining that they are different from each other and the same.

도 1은, 본 발명의 일 실시예에 따른 화상 정보 처리 장치의 구성을 나타내는 도면. 1 is a diagram illustrating a configuration of an image information processing apparatus according to an embodiment of the present invention.

도 2는, 표지인 마커의 예를 설명하기 위한 도면.2 is a diagram for explaining an example of a marker that is a marker.

도 3은, 화상 정보 처리 장치의 동작을 설명하기 위한 플로우차트를 나타내는 도면. 3 is a diagram illustrating a flowchart for explaining the operation of the image information processing apparatus.

도 4는, 도 3에서의 마커 동정 처리의 상세 내용을 설명하기 위한 플로우차트를 나타내는 도면.FIG. 4 is a flowchart for explaining details of marker identification processing in FIG. 3. FIG.

도 5는, 화상 입력부에서 촬영하고 있는 마커가 1개로부터 2개로 늘어난 경우를 설명하기 위한 제1 및 제2 화상을 나타내는 도면.Fig. 5 is a diagram showing first and second images for explaining the case where the markers picked up by the image input unit increase from one to two.

도 6은, 화상 입력부에서 촬영하고 있는 마커가 2개로부터 1개로 줄어든 경우를 설명하기 위한 제1 및 제2 화상을 나타내는 도면. Fig. 6 is a diagram showing first and second images for explaining the case where the markers picked up by the image input unit are reduced from two to one.

도 7은, 동일한 마커를 복수 사용하는 경우의 일례로서 신경 쇠약 게임에 응용한 경우에서의 제1 화면을 나타내는 도면. The figure which shows the 1st screen in the case of applying to a nervous breakdown game as an example in the case of using a plurality of same markers.

도 8은, 동일한 마커를 복수 사용하는 경우의 일례로서 신경 쇠약 게임에 응 용한 경우에서의 제2 화면을 나타내는 도면. 8 is a diagram illustrating a second screen in a case where a nervous breakdown game is applied as an example of using a plurality of the same markers.

도 9는, 동일한 마커를 복수 사용하는 경우의 일례로서 신경 쇠약 게임에 응용한 경우에서의 제3 화면을 나타내는 도면. FIG. 9 is a diagram showing a third screen in the case where a plurality of the same markers are used, when applied to a nervous breakdown game. FIG.

도 10은, 동일한 마커를 복수 사용하는 경우의 일례로서 신경 쇠약 게임에 응용한 경우에서의 제4 화면을 나타내는 도면. Fig. 10 is a diagram showing a fourth screen in the case where a plurality of identical markers are used as an example of a nervous breakdown game.

도 11은, 동일한 마커를 복수 사용하는 경우의 신경 쇠약 게임에 응용한 경우에서의 제5 화면을 나타내는 도면. The figure which shows the 5th screen at the time of applying to the nervous breakdown game in the case of using multiple same markers.

도 12는, 동일한 마커를 복수 사용하는 경우의 일례로서 신경 쇠약 게임에 응용한 경우에서의 제6 화면을 나타내는 도면. FIG. 12 is a diagram illustrating a sixth screen in the case where a plurality of identical markers are used as an example of a nervous breakdown game.

도 13은, 마커의 구성의 제1 구성예를 나타내는 도면.13 is a diagram illustrating a first configuration example of the configuration of a marker.

도 14는, 마커의 구성의 제2 구성예를 나타내는 도면.14 is a diagram illustrating a second configuration example of the configuration of the marker.

도 15는, 마커의 구성의 제3 구성예를 나타내는 도면.15 is a diagram illustrating a third configuration example of the configuration of the marker.

도 16은, 마커의 구성의 제4 구성예를 나타내는 도면.16 is a diagram illustrating a fourth structural example of the configuration of the marker.

<발명을 실시하기 위한 최량의 형태><Best Mode for Carrying Out the Invention>

이하, 본 발명을 실시하기 위한 최량의 형태를 도면을 참조하여 설명한다.EMBODIMENT OF THE INVENTION Hereinafter, the best form for implementing this invention is demonstrated with reference to drawings.

본 발명의 일 실시예에 따른 화상 정보 처리 장치는, 도 1에 도시한 바와 같은 구성에, 카메라인 화상 입력부(10)와, 퍼스널 컴퓨터 등으로 구성된 제어부(20)와, 액정 디스플레이 등의 표시부(30)로 이루어진다. 또한,이들 화상 입력부(10), 제어부(20) 및 표시부(30)를 일체화한 휴대형의 장치로서 구성하여도 되는 것은 물론이다. 또한,제어부(20)의 기능의 일부를, 네트워크를 통해서 액세스 가 능한 서버상에 구성하는 것도 가능하다.An image information processing apparatus according to an embodiment of the present invention has a configuration as shown in FIG. 1, including an image input unit 10 which is a camera, a control unit 20 constituted by a personal computer, and a display unit such as a liquid crystal display ( 30). In addition, of course, you may comprise as a portable apparatus which integrated these image input parts 10, the control part 20, and the display part 30. As shown in FIG. It is also possible to form part of the function of the control unit 20 on a server that can be accessed through a network.

상기 화상 입력부(10)는, 화상 정보 입력 수단으로서 기능한다. 상기 화상 입력부(10)는, 소정의 패턴을 갖는 표지인 마커(100)를 촬영한다. 그리고, 상기 화상 입력부(10)는, 이 촬영에 의해 얻어진 화상 정보를 제어부(20)에 입력한다. 여기에서, 상기 마커(100)는, 예를 들면, 도 2에 도시한 바와 같이, 미리 정해진 형상(본 실시예에서는 사각형)의 틀부(101)와, 그 틀부(101)의 내부에 기록된 문자를 포함하는 기호나 의장(102)으로 구성된다.The image input unit 10 functions as image information input means. The image input unit 10 captures a marker 100 which is a mark having a predetermined pattern. And the said image input part 10 inputs into the control part 20 the image information obtained by this imaging | photography. Here, the marker 100 is, for example, as shown in Figure 2, the frame portion 101 of a predetermined shape (square in this embodiment) and the characters recorded inside the frame portion 101 It consists of a symbol or chair 102 including.

상기 제어부(20)는, 마커 검출부(21), 위치 및 자세 검출부(22), 마커 정보 저장부(23), 관련 정보 생성부(24), 관련 정보 저장부(25) 및 중첩 화상 생성부(26)를 포함한다. 여기에서, 상기 마커 검출부(21)는, 추출 수단으로서 기능한다. 상기 마커 검출부(21)는, 상기 화상 입력부(10)에 의해 입력된 화상 정보의 화상 내로부터, 상기 틀부(101)를 검출함으로써 상기 표지로서의 마커(100)를 검출한다. 그리고,상기 마커 검출부(21)는, 그 검출 결과를 마커 정보로서 위치 및 자세 검출부(22)에 공급한다. 상기 위치 및 자세 검출부(22)는, 위치 검출 수단, 판정 수단 및 유사도 평가 수단으로서 기능한다. 상기 위치 및 자세 검출부(22)는, 상기 마커 검출부(21)로부터의 마커 정보를 이용하여, 마커 정보 저장부(23)에 저장되어 있는 정보로부터 대응하는 마커를 동정한다. 이것에 의해,상기 위치 및 자세 검출부(22)는, 카메라(화상 입력부(10))의 위치 및 자세를 검출한다. 그리고,상기 위치 및 자세 검출부(22)는, 이 검출의 결과를 관련 정보 생성부(24)에 공급한다. 상기 마커 정보 저장부(23)에는, 마커(100)의 템플릿 화상이나 마커(100) 가 배치되어 있는 위치 및 자세 정보 등의, 마커(100)에 관한 정보가 저장되어 있다. 상기 관련 정보 생성부(24)는, 상기 위치 및 자세 검출부(22)에서 검출한 상기 화상 입력부(10)의 위치 및 자세에 따라서 관련 정보 저장부(25)로부터 미리 설정된 정보를 추출하여 관련 정보를 생성한다. 그리고,상기 관련 정보 생성부(24)는, 이 생성한 관련 정보를 중첩 화상 생성부(26)에 공급한다. 상기 관련 정보 저장부(25)에는, 모델 공간상에 배치된 모델의 위치 및 자세 정보나 형상 정보, 속성 정보 등의 관련 정보가 저장되어 있다. 상기 중첩 화상 생성부(26)는, 상기 화상 입력부(10)로부터의 화상 정보와 상기 관련 정보 생성부(24)에서 생성한 관련 정보를 중첩한다. 그리고,상기 중첩 화상 생성부(26)는, 이 중첩에 의해 생성한 중첩 화상을, 상기 표시부(30)에 공급한다.The controller 20 includes a marker detector 21, a position and attitude detector 22, a marker information storage 23, a related information generator 24, a related information storage 25, and a superimposed image generator ( 26). Here, the marker detection unit 21 functions as extraction means. The marker detection unit 21 detects the marker 100 as the front cover by detecting the frame 101 from within the image of the image information input by the image input unit 10. The marker detector 21 then supplies the detection result to the position and attitude detector 22 as marker information. The position and attitude detector 22 functions as position detection means, determination means, and similarity evaluation means. The position and posture detection section 22 identifies the corresponding marker from the information stored in the marker information storage section 23 using the marker information from the marker detection section 21. As a result, the position and attitude detector 22 detects the position and attitude of the camera (image input unit 10). The position and attitude detector 22 then supplies the result of the detection to the related information generator 24. The marker information storage unit 23 stores information about the marker 100, such as a template image of the marker 100, position and posture information on which the marker 100 is disposed. The related information generation unit 24 extracts preset information from the related information storage unit 25 according to the position and attitude of the image input unit 10 detected by the position and posture detection unit 22 to obtain related information. Create Then, the related information generating unit 24 supplies the generated related information to the superimposed image generating unit 26. The related information storage unit 25 stores related information such as position and attitude information, shape information, and attribute information of the model disposed on the model space. The superimposed image generating unit 26 superimposes the image information from the image input unit 10 and the related information generated by the related information generating unit 24. The superimposed image generation unit 26 supplies the superimposed image generated by the superimposition to the display unit 30.

또한,상기 표시부(30)는, 상기 중첩 화상 생성부(26)에서 생성된 중첩 화상을 표시하는 것이다.In addition, the display unit 30 displays the superposed image generated by the superposed image generating unit 26.

이상과 같은 구성의 화상 정보 처리 장치의 동작을, 도 3의 플로우차트를 참조하여, 상세히 설명한다.The operation of the image information processing apparatus having the above configuration will be described in detail with reference to the flowchart of FIG. 3.

우선,화상 입력부(10)는, 화상을 촬영하고, 얻어진 화상 정보를 제1 화상 정보로서 마커 검출부(21)에 입력한다(스텝 S10). 마커 검출부(21)는, 그 입력된 제1 화상 정보의 화상 내에 포함되는 마커(100)의 검출을 행한다(스텝 S12). 이것은, 우선,마커(100)의 틀부(101)를 검출함으로써, 마커 후보를 검출한다. 이 틀부(101)의 검출은, 공지의 화상 처리 방법이므로, 그 상세 설명은 생략한다. 이 때, 검출되는 마커 후보는 하나로 한정되지 않는다. 다음으로,그 검출되는 각 마 커 후보의 틀부(101)의 네 코너의 화상 내에서의 좌표를 검출하고, 각 틀부(101)의 내부를 추출하여 각각 아핀 변환을 행한다. 그리고,아핀 변환 후의 각 화상과 마커 정보 저장부(23)에 미리 등록해 있는 마커의 템플릿 화상(예를 들면, 「50」등의 기호나 의장(102)을 갖는 마커의 화상)과의 패턴 매칭을 각각 행한다. 그 결과, 마커의 템플릿 화상과 일치하는 화상이 없으면, 마커(100)가 검출되지 않은 것으로 하여(스텝 S14), 상기 스텝 S10의 화상 입력 스텝으로 되돌아간다.First, the image input unit 10 captures an image and inputs the obtained image information into the marker detection unit 21 as first image information (step S10). The marker detection unit 21 detects the marker 100 included in the image of the input first image information (step S12). This first detects the marker candidate by detecting the frame portion 101 of the marker 100. Since detection of this frame part 101 is a well-known image processing method, the detailed description is abbreviate | omitted. At this time, the marker candidates to be detected are not limited to one. Next, the coordinates in the four corners of the image of the frame portion 101 of each marker candidate to be detected are detected, and the interior of each frame portion 101 is extracted to perform affine transformation, respectively. And pattern matching with each image after affine conversion, and the template image of the marker previously registered in the marker information storage part 23 (for example, the symbol of "50", etc., or the image of the marker which has the design 102). Do each of them. As a result, if there is no image matching the template image of the marker, the marker 100 is not detected (step S14), and the process returns to the image input step of step S10.

한편,마커의 템플릿 화상과 일치하는 화상이 있으면, 마커 검출부(21)는, 마커(100)가 검출된 것으로 한다(스텝 S14). 이 경우, 위치 및 자세 검출부(22)는, 상기 마커 검출부(21)에 의해 검출한 해당 마커의 틀부(101)의 네 코너의 좌표로부터, 그 틀부(101)의 중심 좌표를 각각 구하고, 각 마커(100)의 위치 정보로 한다(스텝 S16). 그리고,검출한 각 마커에 ID를 할당한다(스텝 S18). 또한,각 마커의 ID와 위치 정보를 내부 메모리(도시 생략)에 기억한다(스텝 S20).On the other hand, if there is an image that matches the template image of the marker, the marker detection unit 21 assumes that the marker 100 has been detected (step S14). In this case, the position and attitude detection unit 22 obtains the center coordinates of the frame unit 101 from the coordinates of the four corners of the frame unit 101 of the marker detected by the marker detection unit 21, respectively. Let it be the positional information of 100 (step S16). Then, an ID is assigned to each detected marker (step S18). The ID and position information of each marker are also stored in an internal memory (not shown) (step S20).

그 후, 다시, 화상 입력부(10)는, 화상을 촬영하고, 얻어진 화상 정보를 제2 화상 정보로서 마커 검출부(21)에 입력한다(스텝 S22). 마커 검출부(21)는, 상기 스텝 S12와 마찬가지로 하여, 그 입력된 제2 화상 정보의 화상 내에 포함되는 마커(100)의 검출을 행한다(스텝 S24). 여기에서, 마커(100)가 검출되지 않으면(스텝 S26), 상기 스텝 S22의 화상 입력 스텝으로 되돌아간다.Thereafter, the image input unit 10 captures an image and inputs the obtained image information into the marker detection unit 21 as the second image information (step S22). The marker detection unit 21 detects the marker 100 included in the image of the input second image information in the same manner as in the step S12 (step S24). Here, if the marker 100 is not detected (step S26), it returns to the image input step of the said step S22.

한편,마커(100)가 검출된 경우에는(스텝 S26), 위치 및 자세 검출부(22)는, 상기 스텝 S16과 마찬가지로 하여, 각 마커(100)의 위치 정보를 검출한다(스텝 S28). 그리고 또한,해당 위치 및 자세 검출부(22)는, 마커 동정 처리를 실행한 다(스텝 S30).On the other hand, when the marker 100 is detected (step S26), the position and attitude | position detection part 22 detects the positional information of each marker 100 similarly to the said step S16 (step S28). Then, the position and attitude detection unit 22 executes marker identification processing (step S30).

이 스텝 S30의 마커 동정 처리는, 도 4에 도시한 바와 같이, 우선,상기 제1 화상으로부터 검출한 각 마커 및 상기 제2 화상으로부터 검출한 각 마커의, 화상 유사도를 비교한다(스텝 S301). 이것은, 제1 화상의 마커, 제2 화상의 마커의 구별 없이, 각 마커의 유사도를 비교하는 것이다. 여기에서, 동일한 (유사의) 마커가 없으면(스텝 S302), 제1 화상으로부터 검출하여 기억하고 있는 마커의 ID를 전부 클리어한다(스텝 S303). 그리고,제2 화상으로부터 검출한 마커 전부에 대하여, 새롭게 ID를 할당하여(스텝 S304), 이 마커 동정 처리를 종료한다.As shown in FIG. 4, the marker identification processing of step S30 first compares the image similarity of each marker detected from the first image and each marker detected from the second image (step S301). This compares the similarity degree of each marker, without distinguishing between the marker of a 1st image, and the marker of a 2nd image. If the same (similar) marker is not present (step S302), all the IDs of the markers detected and stored from the first image are cleared (step S303). Then, IDs are newly assigned to all the markers detected from the second image (step S304), and the marker identification processing ends.

이에 대하여, 동일한 (유사의) 마커가 있으면(스텝 S302), 동일한 (유사의) 마커끼리를 관련짓는다(스텝 S305). 이 관련짓기는, (1) 제1 화상의 마커만의 관련짓기, (2) 제2 화상의 마커만의 관련짓기, (3) 양쪽의 화상의 마커가 포함되는 관련짓기, 의 3종류가 가능하다. 다음으로,각 관련지어진 마커끼리 내에서, 서로의 거리가 가까운 순으로, 제2 화상으로부터 검출한 마커를, 제1 화상으로부터 검출한 마커에 대응지어 간다(스텝 S306). 이것은 각 관련짓기마다 행하는 것이지만, 당연히, 상기 (3)의 양쪽의 화상의 마커가 포함되는 관련짓기의 경우에만, 대응지어진다. 제1 화상의 마커와 제2 화상의 마커에서 수가 서로 다르면, 많은 쪽에서 「나머지」가 생긴다. 또한,상기 (1)의 제1 화상의 마커만의 관련짓기 및 (2)의 제2 화상의 마커만의 관련짓기의 경우에는, 전체 마커가 「나머지」로 된다.In contrast, if the same (similar) markers exist (step S302), the same (similar) markers are associated with each other (step S305). This association can be performed in three types: (1) associating only the marker of the first image, (2) associating only the marker of the second image, and (3) associating including the markers of both images. Do. Next, in the associated markers, the markers detected from the second image are associated with the markers detected from the first image in the order in which the distances are close to each other (step S306). This is done for each association, but of course, it is associated only in the case of the association in which the markers of both images of (3) are included. If the numbers of the markers of the first image and the markers of the second image are different from each other, "rest" occurs in many of them. In the case of associating only the marker of the first image of (1) and only the marker of the second image of (2), all the markers are "rest."

다음으로,각 관련지어진 마커끼리 내에서, 상기 대응지어진 분에 대하여, 제1 화상으로부터 검출한 마커의 ID를 제2 화상으로부터 검출한 마커의 ID에 전기 한다(스텝 S307). 이것은 각 관련짓기마다 행하는 것이며, 상기 스텝 S307에서 대응지어지지 않았던 「나머지」는 전기 대상 외로 된다.Next, in each associated marker, the ID of the marker detected from the first image is posted to the ID of the marker detected from the second image with respect to the correspondence (step S307). This is done for each association, and the "rest" that is not associated in step S307 becomes out of the target of electricity.

그리고,상기 전기된 ID를 제외하고, 제1 화상으로부터 검출한 마커의 ID를 전부 클리어한다(스텝 S308). 즉, 제2 화상에는 없는, 제1 화상만의 마커는 ID를 전부 클리어한다. 또한,상기 ID가 전기된 이외의, 제2 화상으로부터 검출한 마커 전부에 대하여, 새롭게 ID를 할당한다(스텝 S09). 즉, 제2 화상에서 신규로 발생한 마커는, ID를 신규로 할당한다. 그리고,이 마커 동정 처리를 종료한다.Then, except for the above-described ID, all the IDs of the markers detected from the first image are cleared (step S308). That is, the marker only for the first image that is not present in the second image clears all the IDs. Furthermore, IDs are newly assigned to all the markers detected from the second image except for the above-mentioned IDs (step S09). That is, a marker newly generated in the second image assigns a new ID. And this marker identification process is complete | finished.

여기에서, 이 마커 동정 처리까지의 동작을, 구체예를 이용하여 설명한다.Here, the operation until this marker identification process is demonstrated using a specific example.

우선,도 5에 의해, 화상 입력부(10)에서 촬영하고 있는 마커가 1개로부터 2개로 늘어난 경우를 설명한다. 여기에서, 마커(100C)는 마커(100A)와 동일한 마커이며, 마커(100B)는 새롭게 보인 마커로 상정한다. 또한,이들 마커(100A, 100B, 100C)는 동일 디자인(기호나 의장(102)이 동일)의 마커이다.First, the case where the markers imaged by the image input unit 10 increases from one to two will be described with reference to FIG. 5. Here, the marker 100C is the same marker as the marker 100A, and the marker 100B is assumed to be a newly shown marker. In addition, these markers 100A, 100B, and 100C are markers of the same design (symbols and designs 102 are the same).

즉, 상기 스텝 S10 내지 스텝 S20의 처리에 의해, 제1 화상(41)에서 마커(마커(100A))가 1개 검출된다. 이 마커는 「50」의 기호나 의장(102)을 갖는 마커이며, (예를 들면, 화상 좌상을 (0, 0)으로 하는 좌표에서) 그 중심 좌표가 (80, 80), ID는 「1」로 기억된다. 또한,상기 스텝 S22 내지 스텝 S28의 처리에 의해, 제2 화상(42)에서, 마커가 2개 검출된다. 여기에서, 한쪽의 마커(10OB)는 「50」의 기호나 의장(102)을 갖고, 중심 좌표는 (10,10)의 마커, 다른 쪽의 마커(100C)는 동일하게 「50」의 기호나 의장(102)을 갖고, 중심 좌표는 (90, 90)의 마커인 것으로 검출된다.That is, one process (marker 100A) is detected in the 1st image 41 by the process of said step S10 thru | or step S20. This marker is a marker having a symbol of "50" or a design 102 (for example, in coordinates with (0, 0) on the upper left of the image), its center coordinate is (80, 80), and ID is "1." Is remembered. In addition, by the process of said step S22-step S28, two markers are detected in the 2nd image 42. FIG. Here, one marker 10OB has a symbol of "50" and a design 102, the center coordinate is a marker of (10, 10), and the other marker 100C has the same symbol of "50". With the design 102, the center coordinates are detected to be markers of (90, 90).

이와 같은 경우, 동정 처리에서는,우선,상기 스텝 S301, S305, S306의 처리에 의해, 제1 화상(41)에서 검출한 ID가 「1」인 마커(100A)에 대하여, 현재의 제2 화상(42)에서 검출한 마커(100B), 마커(100C) 내에서 가장 거리가 가까운 마커를 찾는다. 여기에서, ID 「1」의 마커(100A)의 중심 좌표가 (80, 80)이므로, 중심 좌표가 (90, 90)인 마커(100C)의 쪽이 중심 좌표가 (10, 10)인 마커(100B)에 비하여 거리가 가깝다. 따라서,상기 스텝 S306, S307의 처리에 의해, 중심 좌표(90, 90)의 마커(100C)의 ID를 「1」로 세트한다. 또한,제1 화상(41)에서 검출한 마커수는 1개이므로, 남은 중심 좌표(10, 10)의 마커 B는, 현재의 제2 화상(42)에서 신규로 검출한 마커인 것으로 판단하고, 상기 스텝 S309의 처리에 의해, ID로서 「2」를 세트한다.In such a case, first, in the identification processing, the current second image (for the marker 100A whose ID detected in the first image 41 by the processing of the steps S301, S305, S306 is "1") The marker 100B detected in 42) and the marker closest to each other within the marker 100C are found. Here, since the center coordinate of the marker 100A of ID "1" is (80, 80), the marker of the marker 100C whose center coordinate is (90, 90) is the marker whose center coordinate is (10, 10) ( The distance is closer than that of 100B). Therefore, the ID of the marker 100C of the center coordinates 90 and 90 is set to "1" by the process of the said step S306, S307. In addition, since the number of markers detected in the first image 41 is one, it is determined that the marker B of the remaining center coordinates 10 and 10 is a marker newly detected in the current second image 42, By the process of the said step S309, "2" is set as ID.

이상으로부터, 제1 화상(41)에서 중심 좌표(80, 80)에서 검출한 「50」의 기호나 의장(102)을 갖는 마커(100A)는, 현재의 제2 화상(42)에서 중심 좌표(90, 90)에서 검출한 「50」의 기호나 의장(102)을 갖는 마커(100C)라고 인식하는 것이 가능하게 된다. 또한,현재의 제2 화상(42)으로부터 중심 좌표(10, 10)에서 검출한 동일하게 「50」의 기호나 의장(102)을 갖는 마커(100B)는, 신규 검출 마커로서 인식하는 것이 가능하게 된다.As mentioned above, the marker 100A which has the symbol of "50" detected by the center coordinates 80 and 80 in the 1st image 41, and the design 102 is center coordinates (at the present 2nd image 42). It becomes possible to recognize that it is the marker 100C which has the symbol of "50" and the design 102 which were detected by 90,90. In addition, the marker 100B having the same symbol and designation 102 as "50" detected by the center coordinates 10 and 10 from the current second image 42 can be recognized as a new detection marker. do.

다음으로,도 6에 의해, 화상 입력부(10)에서 촬영하고 있는 마커가 2개로부터 1개로 줄어든 경우를 설명한다. 여기에서, 마커(100F)는 마커(100E)와 동일한 마커, 마커(100D)는 보이지 않게 된 마커인 것으로 상정한다.Next, the case where the marker image | photographed by the image input part 10 reduces from two to one is demonstrated with FIG. Here, it is assumed that the marker 100F is the same marker as the marker 100E, and the marker 100D is a marker which becomes invisible.

즉, 상기 스텝 S10 내지 스텝 S20의 처리에 의해, 제1 화상(51)에서 마커가 2개 검출된다. 한쪽의 마커(100D)는 「50」의 기호나 의장(102)을 갖고, 중심 좌표는 (10, 10)이고 ID는 「1」인 마커인 것으로 기억된다. 다른 쪽의 마커(100E)는 동일하게 「50」의 기호나 의장(102)을 갖고, 중심 좌표는 (90, 90)이고 ID는 「2」인 마커인 것으로 기억된다. 또한,상기 스텝 S22 내지 스텝 S28의 처리에 의해, 제2 화상(52)에서, 마커(마커(100F))가 1개 검출된다. 그 마커는 「50」의 기호나 의장(102)을 갖고, 그 중심 좌표가 (80, 80)인 마커인 것으로 검출된다.That is, by the process of said step S10-step S20, two markers are detected in the 1st image 51. FIG. One marker 100D has a symbol of 50 and a design 102, and is stored as a marker having a center coordinate of (10, 10) and an ID of "1". The other marker 100E similarly has a symbol or design 102 of "50" and is stored as a marker whose center coordinates are (90, 90) and ID is "2". In addition, one process (marker 100F) is detected in the 2nd image 52 by the process of the said step S22-step S28. The marker has a symbol of "50" or a design 102 and is detected to be a marker whose center coordinates are (80, 80).

이와 같은 경우, 동정 처리에서는,우선,상기 스텝 S301, S305, S306에서 이하의 처리를 행한다. 즉, 우선 제1 화상(51)에서 검출한 ID가 「1」인 마커(100D)에 대하여, 현재의 제2 화상(52)에서 검출한 마커(100F)와의 거리를 구한다. 다음에 제1 화상(51)에서 검출한 lD가 「2」인 마커(100E)에 대하여, 현재의 제2 화상(52)에서 검출한 마커(100F)와의 거리를 구한다. 그리고,마커(100F)는 중심 좌표(80, 80)이므로, 중심 좌표(90, 90)의 마커(100E)가 가장 거리가 가까우므로, 상기 스텝 S306, S307의 처리에 의해, 마커(100F)의 ID를 「2」로 세트한다.In such a case, first, in the identification processing, the following processing is performed in the above steps S301, S305, and S306. That is, first, the distance from the marker 100F detected by the current second image 52 is obtained for the marker 100D whose ID detected by the first image 51 is "1". Next, with respect to the marker 100E whose lD detected by the first image 51 is "2", the distance from the marker 100F detected by the current 2nd image 52 is calculated | required. And since the marker 100F is the center coordinates 80 and 80, since the marker 100E of the center coordinates 90 and 90 is closest to each other, the markers 100F of the marker 100F are processed by the processing of steps S306 and S307. Set the ID to "2".

또한,제1 화상(51)에서 검출한 마커수는 2개므로, 남은 중심 좌표(10, 10)의 마커(100D)는, 다음의 제2 화상(52)에서 검출할 수 없게 된 마커인 것으로 판단하고, 상기 스텝 S308의 처리에 의해, ID 「1」을 클리어한다.In addition, since the number of markers detected by the first image 51 is two, the marker 100D of the remaining center coordinates 10 and 10 is a marker which cannot be detected by the next second image 52. It judges and clears ID "1" by the process of said step S308.

이상에 의해, 전의 제1 화상(51)에서 중심 좌표(90, 90)에서 검출한 「50」의 기호나 의장(102)을 갖는 마커(100E)는, 다음의 제2 화상(52)에서 중심 좌표(80, 80)에서 검출한 「50」의 기호나 의장(102)을 갖는 마커(100F)인 것으로 인식하는 것이 가능하게 된다. 또한,제1 화상(51)에서 중심 좌표(10, 10)에서 검출 한 「50」의 기호나 의장(102)을 갖는 마커(100D)는, 검출할 수 없게 된 마커로서 인식하는 것이 가능하게 된다.By the above, the marker 100E which has the symbol of "50" and the design 102 which were detected by the center coordinates 90 and 90 in the previous 1st image 51 is centered in the next 2nd image 52. FIG. It becomes possible to recognize that it is the marker 100F which has the symbol of "50" detected by the coordinates 80 and 80, and the design 102. FIG. In addition, the marker 100D having the symbol of "50" and the design 102 detected by the center coordinates 10, 10 in the first image 51 can be recognized as a marker that cannot be detected. .

상기 위치 및 자세 검출부(22)는, 이상과 같은 마커 동정 처리를 실시하여, 제2 화상에서의 각 마커에 ID를 할당하면, 각 마커의 ID와, 상기 스텝 S28에서 검출한 각 마커의 위치 정보를 내부 메모리(도시 생략)에 기억한다(스텝 S32).When the position and attitude detection unit 22 performs the above-described marker identification processing and assigns an ID to each marker in the second image, the ID of each marker and the position information of each marker detected in the step S28. Is stored in an internal memory (not shown) (step S32).

그리고,위치 및 자세 검출부(22), 또한,마커 정보 저장부(23)로부터 동정한 각 마커의 공간 정위 정보(마커가 배치되어 있는 위치 및 자세 정보)를 입수한다. 그리고,화상 내에서의 해당 마커의 틀부(101)의 네 코너의 위치로부터 카메라(화상 입력부(10))의 위치 및 자세를 검출한다(스텝 S34). 또한,마커로부터 카메라의 위치 및 자세를 구하는 방법은, 예를 들면, “A High Accurasy Realtime 3D Measuring Method of Marker for VR Interface by Monocular Vision"(3D Image Conference '96 Proceeding pp.167-172, Akira Takahashi, Ikuo Ishii, Hideo Makino, Makoto Nakashizuka, 1996)에 개시되어 있으므로, 그 상세 설명은 생략한다.Then, the positional and posture detection section 22 and the marker information storage section 23 obtain spatial positional information (position and posture information on which the marker is placed) of each marker identified. Then, the position and attitude of the camera (image input unit 10) are detected from the positions of the four corners of the frame portion 101 of the marker in the image (step S34). In addition, a method of obtaining a camera position and posture from a marker is, for example, “A High Accurasy Realtime 3D Measuring Method of Marker for VR Interface by Monocular Vision” (3D Image Conference '96 Proceeding pp. 167-172, Akira Takahashi , Ikuo Ishii, Hideo Makino, Makoto Nakashizuka, 1996), and the detailed description thereof is omitted.

그리고,관련 정보 생성부(24)는, 상기 위치 및 자세 검출부(22)에서 검출한 카메라(화상 입력부(10))의 위치 및 자세에 따라서 관련 정보 저장부(25)로부터 미리 설정된 정보를 추출하여 관련 정보를 생성한다(스텝 S36). 중첩 화상 생성부(26)는, 상기 화상 입력부(10)로부터의 화상과 그 관련 정보 생성부(24)에서 생성한 관련 정보를 중첩하여, 표시부(30)에 중첩 화상을 표시한다(스텝 S38).The related information generator 24 extracts predetermined information from the related information storage unit 25 according to the position and attitude of the camera (image input unit 10) detected by the position and posture detection unit 22. The relevant information is generated (step S36). The superposed image generating unit 26 superimposes the image from the image input unit 10 and the related information generated by the related information generating unit 24 and displays the superposed image on the display unit 30 (step S38). .

이상과 같이 하여, 동일한 디자인(동일한 기호나 의장(102)을 가짐)의 마 커(100)를 동시에 복수 촬영한 경우이어도, 각각의 마커(100)를 구별 가능하게 된다. 또한,복수의 화상 간에서 각 화상 내에 존재하는 마커(100)의 다르고같음을 판정하는 것이 가능하게 된다.As described above, even when a plurality of markers 100 having the same design (having the same sign or design 102) are photographed at the same time, the respective markers 100 can be distinguished. In addition, it is possible to determine that the markers 100 present in each image are different from each other and are the same.

[적용예][Application Example]

여기서, 동일(동일한 기호나 의장(102)을 가짐)한 마커(100)를 복수 사용하는 경우의 일례로서, 본 실시예를 신경 쇠약 게임에 응용한 경우에 대하여 설명한다.Here, as an example of the case where a plurality of markers 100 having the same symbol (or the same symbol or design 102) are used, a case where the present embodiment is applied to a nervous breakdown game will be described.

이 신경 쇠약 게임은, 처음에 1매째의 카드를 넘기고, 다음에 2매째의 카드를 넘겼을 때, 1매째와 2매째가 동일한 카드이었다면, 1매째의 카드의 관련 정보로서 표시하고 있던 캐릭터가 2매째의 카드의 위치로 이동하는 것이다.When this first breakdown game first handed over the first card, and then turned over the second card, if the first and the second were the same card, the character displayed as the related information of the first card is the second. Let's move to the position of the card.

즉, 도 7은, 마커(100)를 인쇄한 카드(200)를 뒤집어 놓고 있는 상태를 촬영하였을 때의 표시부(30)의 화면(31)을 나타내는 도면이다. 이 경우, 화면(31) 내에는, 카드(200)가 4매 있지만, 마커(100)를 인식하지 않고 있기 때문에 아무것도 표시되어 있지 않다.That is, FIG. 7: is a figure which shows the screen 31 of the display part 30 at the time of image | photographing the state which turned over the card 200 which printed the marker 100. FIG. In this case, although there are four cards 200 in the screen 31, since the marker 100 is not recognized, nothing is displayed.

도 8은, 카드(200)를 1매 뒤집어 놓은 상태를 촬영하였을 때의 화면(32)을 나타내고 있다. 이 때의 화면(32)에서는, 뒤집은 카드(200)에 인쇄된 「50」의 기호나 의장(102)을 갖는 마커(100)가 1개 검출된다. 그것에 의해, 그 「50」의 기호나 의장(102)에 대응한 관련 정보인 캐릭터(60)(이 경우에는 「자동차」)가, 그 뒤집은 카드(200)의 위치 및 자세에 따른 위치 및 자세로 표시된다.FIG. 8 shows the screen 32 when photographing a state in which one card 200 is turned upside down. In the screen 32 at this time, one marker 100 having the symbol &quot; 50 &quot; and the design 102 printed on the flipped card 200 is detected. Thereby, the character 60 (in this case, "car"), which is the symbol of "50" and the related information corresponding to the design 102, is in a position and posture according to the position and posture of the inverted card 200. Is displayed.

도 9는, 또 1매의 카드(200)를 뒤집어 놓은 상태를 촬영하였을 때의 화 면(33)을 나타내는 도면이다. 이 화면(33)에서는, 동일한 「50」의 기호나 의장(102)을 갖는 마커(100)가 2개 검출된다. 따라서,「50」의 기호나 의장(102)에 대응한 동일한 캐릭터(60)(이 경우에는 「자동차」)가, 각각의 카드(200)의 위치 및 자세에 따라서 2대 표시된다.FIG. 9 is a diagram showing a screen 33 when photographing a state in which one card 200 is turned upside down. In this screen 33, two markers 100 having the same symbol and designation 102 of "50" are detected. Therefore, two identical characters 60 (in this case, "car") corresponding to the symbol "50" and the design 102 are displayed in accordance with the position and attitude of each card 200.

또한,물론, 신경 쇠약 게임이기 때문에, 다른 기호나 의장(102)을 갖는 카드가 2매째로서 뒤집어 놓인 상태를 촬영하는 경우도 종종 있다. 그 경우에는, 그 2매째의 카드에 인쇄된 마커의 기호나 의장(102)에 대응하는 캐릭터가, 그 2매째의 카드의 위치까지 자세에 따라서 표시되게 된다.In addition, of course, because it is a nervous breakdown game, it is often taken to photograph a state in which a card having another symbol or design 102 is turned upside down as the second sheet. In that case, the symbol of the marker printed on the second card and the character corresponding to the design 102 are displayed according to the posture up to the position of the second card.

그리고,도 9와 같이, 마커의 기호나 의장(102)이 합치한 경우에는, 그림 맞추기가 성공이다. 따라서, 그와 같은 경우에는, 그것을 정시하기 위해서, 도 9의 화면(33)으로부터, 도 10 내지 도 12에 도시한 바와 같은 화면(34 내지 36)과 같이, 표시를 변천시킨다. 즉, 도 10의 화면(34)은, 1매째에 검출한 「50」의 기호나 의장(102)을 갖는 마커(100)의 위치로부터, 2매째에 검출한 「50」의 기호나 의장(102)을 갖는 마커(100)를 향하여, 캐릭터(60)(이 경우에는 「자동차」)가 이동하고 있는 모습을 표시하고 있다. 도 11의 화면(35)은, 그 캐릭터(60)(이 경우에는 「자동차」)의 이동이 완료되고, 하나의 큰 캐릭터(61)에 표시를 변경하고 있다. 그리고,도 12의 화면(36)에서는, 그 캐릭터(61) 대신에, 성공한 것을 나타내는 문자(62)를 표시하고 있다.Then, as shown in Fig. 9, when the symbol of the marker and the chairman 102 coincide, the matching of the picture is successful. Therefore, in such a case, the display is changed from the screen 33 of FIG. 9 to the screens 34 to 36 as shown in FIGS. That is, the screen 34 of FIG. 10 shows the symbol and design 102 of "50" detected on the second sheet from the position of the marker 100 having the symbol of "50" detected on the first sheet and the design 102. The character 60 (in this case, the "car") is moving toward the marker 100 having the dot). The screen 35 of FIG. 11 completes the movement of the character 60 ("car" in this case), and changes the display to one large character 61. In the screen 36 of FIG. 12, instead of the character 61, a character 62 indicating success is displayed.

이와 같이, 동일 디자인의 마커를 복수 사용하여도, 각각의 마커를 구별할 수 있기 때문에, 예를 들면 신경 쇠약 게임에의 응용을 비롯하여, 다양한 용도로 응용하는 것이 가능하게 된다.In this way, even if a plurality of markers of the same design are used, the respective markers can be distinguished, and therefore, the markers can be used for various purposes, for example, in applications to nervous breakdown games.

이상, 일 실시예에 기초하여 본 발명을 설명하였지만, 본 발명은 전술한 일 실시예에 한정되는 것이 아니라, 본 발명의 요지의 범위 내에서 다양한 변형이나 응용이 가능한 것은 물론이다.As mentioned above, although this invention was demonstrated based on one Example, this invention is not limited to an Example mentioned above, Of course, various deformation | transformation and application are possible within the scope of the summary of this invention.

예를 들면, 상기 일 실시예에서는, 제어부(20)의 각 구성을 하드웨어로서 실현한 경우를 설명하였지만, 컴퓨터 프로그램의 형태로 하고, 그것을 컴퓨터에서 실행함으로써 마찬가지의 기능을 실현하는 것이어도 된다. 예를 들면, 제어부(20)의 각 구성을 컴퓨터 프로그램의 형태로 하고, 컴퓨터가 구비하는 프로그램 메모리에 미리 그 컴퓨터 프로그램을 기억시켜 두어도 된다. 또한,예를 들면 제어부(20)의 각 구성을 컴퓨터 프로그램의 형태로 하고, CD-ROM 등의 기록 매체에 의해 그 컴퓨터 프로그램을 제공하고, 해당 컴퓨터 프로그램을 그 기록 매체로부터 읽어들이어 컴퓨터가 구비하는 프로그램 메모리에 기억시켜도 된다. 또한,인터넷이나 LAN 등의 네트워크를 통하여 외부의 기록 매체에 기록된 것을 다운로드하여, 프로그램 메모리에 기억시킨 것이어도 무방하다.For example, in the above embodiment, the case where the respective configurations of the control unit 20 are implemented as hardware has been described. However, the same function may be realized by using a computer program and executing it on a computer. For example, each configuration of the control unit 20 may be in the form of a computer program, and the computer program may be stored in advance in a program memory included in the computer. For example, each configuration of the control unit 20 is in the form of a computer program, the computer program is provided by a recording medium such as a CD-ROM, and the computer is read from the recording medium. It may be stored in the program memory. In addition, what is recorded in an external recording medium via a network such as the Internet or a LAN may be downloaded and stored in a program memory.

또한,상기 실시예에서는, 제1 화상과 제2 화상의 2 화상을 사용하는 경우에 대해서만 설명하였지만, 3 화상 이상을 이용하여도 되고, 움직임의 예측을 적용하는 것도 가능하다.In the above embodiment, only the case where two images of the first image and the second image are used has been described, but three or more images may be used, and motion prediction may be applied.

또한,상기 일 실시예에서는 도 2에 도시한 바와 같이, 상기 마커(100)는, 미리 정해진 형상의 틀부(101)와, 그 틀부(101)의 내부에 기록된 문자를 포함하는 기호나 의장(102)으로 구성되는 것으로 하였다. 그러나, 마커(100)의 구성은, 이 러한 구성에 한정되지 않는다. 예를 들면 이하에 기재하는 4개의 구성예를 비롯하여, 다양한 구성이 고려된다.In addition, in the above-described embodiment, as shown in FIG. 2, the marker 100 includes a symbol part 101 having a predetermined shape, and a symbol or design including characters written in the interior of the mold part 101. 102). However, the configuration of the marker 100 is not limited to this configuration. For example, various configurations are considered, including four structural examples described below.

<제1 구성예><First Configuration Example>

마커(100)를, 예를 들면 도 13에 도시한 바와 같이, 의장(102)을 원형, 다각형, 또는 자유 곡선의 틀부(101)로 둘러싼 구성으로 하여도 물론 된다(도 13에 도시한 예에서는 틀부(101)는 원형).For example, as shown in FIG. 13, the marker 100 may be configured to surround the design 102 with a circular, polygonal, or free-form frame 101 (in the example shown in FIG. 13). Frame 101 is circular).

<제2 구성예><2nd structural example>

또한,마커(100)를, 예를 들면 도 14에 도시한 바와 같이, 틀부(101) 자체가 그 틀부(101) 내부의 의장(102)의 일부로 되는 구성으로 하여도 물론 된다.In addition, as shown, for example in FIG. 14, the marker 100 may be made into the structure which becomes the part of the design 102 inside the frame part 101 itself.

<제3 구성예><3rd structural example>

마커(100)를, 예를 들면 도 15에 도시한 바와 같이, 틀부 자체를 존재시키지 않고, 의장(102) 만으로, 다른 마커와 구별 가능한 구성으로 하여도 물론 된다.For example, as shown in FIG. 15, the marker 100 may be made into a structure which can be distinguished from other markers only by the design 102, without providing a frame part itself.

<제4 구성예>Fourth Configuration Example

마커(100)를, 예를 들면 도 16에 도시한 바와 같이, 의장(102)(이 예에서는 사람의 얼굴)의 주변에 기호적인 심볼(102A)(이 예에서는 하트 형상의 마크)을 배치하는 구성으로 하여도 물론 된다.As shown in Fig. 16, for example, the marker 100 is provided with a symbolic symbol 102A (a heart-shaped mark in this example) around the design 102 (a person's face in this example). Of course, it is good also as a structure.

또한,마커(100)를, 도 13 내지 도 15에 도시한 바와 같은 구성으로 하는 경우에는, 마커(100)의 특정을 위해서는, 반드시 상기 스텝 S12 및 상기 스텝 S14에서의 처리에 의한 패턴 매칭의 방법을 이용하지 않아도 된다. 즉, 예를 들면 화상 입력부(10)로부터 얻어지는 화상 정보로부터, 화상적으로 특징을 갖는 점(이후, ' 특징점'이라 함)을 추출하고, 마커 정보 저장부(23)에 미리 등록해 있는 마커의 템플릿 화상에서의 각 특징점과의 유사도를 평가함으로써, 화상 정보에 포함되는 마커(100)를 특정하는 것이 가능하게 된다.In addition, in the case where the marker 100 is configured as shown in Figs. 13 to 15, in order to specify the marker 100, the method of pattern matching by the processing in the steps S12 and S14 must be performed. You do not have to use. That is, for example, from the image information obtained from the image input unit 10, a point (hereinafter referred to as a 'feature point') having an image feature is extracted, and the marker information stored in advance in the marker information storage unit 23 is extracted. By evaluating the similarity with each feature point in the template image, it becomes possible to specify the marker 100 included in the image information.

마커(100)의 특정을 위해, 상기한 바와 같이 특징점에 의한 매칭 방법을 채용한 경우에는, 마커(100)가 서로 겹쳐 있거나, 마커(100)의 일부가 빠져 있는 화상 정보이어도, 마커(100)를 특정하는 것이 가능하게 된다. 즉, 마커(100)의 특정을 위해서는, 상기한 바와 같이 특징점에 의한 매칭 방법을 채용하는 것은, 실용상 효과적이다.When the matching method by the characteristic point is employ | adopted as mentioned above for the specification of the marker 100, even if the marker 100 overlaps each other or the image information which a part of the marker 100 is missing, the marker 100 is carried out. It becomes possible to specify. That is, in order to specify the marker 100, it is practically effective to employ the matching method by the feature point as mentioned above.

또한,상기한 바와 같은 특징점에 의한 매칭 방법을, 위치 및 자세 검출부(22)에 의한 마커(100)의 위치 정보의 산출(상기 스텝 S16)에 적용하여도 물론 된다. 즉, 위치 및 자세 검출부(22)는, 마커(100)의 위치 정보를, 해당 마커(100)의 틀부(101)의 네 코너의 좌표로부터 구하는 것이 아니라, 이하와 같이 구해도 된다. 즉, 상기 화상 정보 내를 차지하는 마커(100)의 픽셀의 무게 중심, 마커(100)의 특징점의 무게 중심, 또는 마커(100)의 특징점 중 가장 넓어진 복수의 점에 기초하여, 마커(100)의 위치 정보를 산출하여도 물론 된다. 여기에서, 상기 "마커(100)의 특징점 중 가장 넓어진 복수의 점"은, 예를 들면, 3점이나 4점이어도 되고, 그 이상의 개수의 점이어도 된다. 또한, 마커(100)의 모든 특징점을 내포할 수 있도록, 동적으로 해당 점의 수를 변화시켜도 물론 된다.In addition, the matching method by the feature point mentioned above may be applied to calculation of the positional information of the marker 100 by the position and attitude | position detection part 22 (step S16). That is, the position and attitude | position detection part 22 may calculate | require not the position information of the marker 100 from the coordinate of the four corners of the frame part 101 of the said marker 100, but may obtain as follows. That is, based on the center of gravity of the pixel of the marker 100 occupying the image information, the center of gravity of the feature point of the marker 100, or the plurality of points that are widest among the feature points of the marker 100, Of course, the position information may be calculated. Here, the "a plurality of points which are the widest among the feature points of the marker 100" may be three points or four points, for example, and a number of points more than that may be sufficient as it. In addition, of course, the number of the corresponding points may be changed dynamically so as to include all the feature points of the marker 100.

또한,상기 위치 및 자세 검출부(22)에서 구하는 각 마커(100)의 위치 정보는, 각 마커(100)의 상기 화상 정보 내에서의 위치뿐만 아니라, 그 위치에서의 방 향의 정보를 가질 수 있는 것은 물론이다. 여기에서, 상기 방향의 정보란, 예를 들면 마커 정보 저장부(23)에의 마커(100)의 템플릿 화상의 등록 시에서의 상 방향을 기준의 방향(기준 축)으로 한 경우에, 상기 화상 정보 내에서 특정한 마커(100)의 상 방향이, 상기 기준 축으로부터 얼마만큼 회전하고 있는지를 나타내는 정보이다. 또한,이 회전은, 이차원적인 회전에 한정되는 것은 아니다. 즉, 예를 들면 마커(100)의 사다리꼴 왜곡으로부터 마커의 삼차원적인 자세를 산출하여도 된다. 그리고,이 산출은, 공지의 기술로 가능하다. 이와 같은 산출에 의해 얻어지는, 마커(100)가 갖는 방향의 정보는, 삼차원 공간에서의 자세 정보라고 할 수 있다. 또한,마커(100)의 사다리꼴 왜곡은, 도 2에 도시한 바와 같은 사각 틀로부터 구해지는 것은 물론, 전술한 특징점에 의한 매칭 방법에 의해서도, 해당 특징점의 상대적인 위치를 고려함으로써 구할 수 있는 것은 물론이다.In addition, the position information of each marker 100 obtained by the position and posture detection unit 22 may have not only a position in the image information of each marker 100 but also information on the direction at that position. Of course. Here, the information of the said direction is the said image information, for example, when the image direction at the time of registration of the template image of the marker 100 in the marker information storage part 23 is made into the reference direction (reference axis). Information indicating how much the specific direction of the marker 100 is rotated from the reference axis in the image. In addition, this rotation is not limited to two-dimensional rotation. That is, for example, the three-dimensional posture of the marker may be calculated from the trapezoidal distortion of the marker 100. And this calculation is possible by a well-known technique. The information of the direction which the marker 100 obtained by such calculation can be said to be attitude information in three-dimensional space. In addition, the trapezoidal distortion of the marker 100 can be obtained not only from the rectangular frame as shown in FIG. 2, but also by considering the relative positions of the feature points by the matching method using the feature points described above. .

Claims (7)

화상 정보를 입력하는 화상 정보 입력 수단(10)과,Image information input means (10) for inputting image information, 상기 화상 정보 입력 수단(10)에 의해 입력된 화상 정보의 화상 내에서, 표지(100)를 추출하는 추출 수단(21)과,Extraction means 21 for extracting the front cover 100 in the image of the image information input by the image information input means 10; 상기 추출 수단(21)에 의해 추출된 표지(100)의 상기 화상 내에서의 위치를 검출하는 위치 검출 수단(22)과,Position detecting means 22 for detecting a position in the image of the front cover 100 extracted by the extracting means 21; 복수의 화상에서 각각 추출된 표지 간의 다르고같음(同異)을 판정하는 수단이며, 적어도 선택적으로 적용되는 판정 조건으로서, 상기 위치 검출 수단(22)에 의해 검출된 해당 각 표지의 위치에 기초하는 판정 조건을 구비하는 판정 수단(22)Determination based on the position of each indicia detected by the position detecting means 22 as a determination condition to be applied at least selectively, as a means for determining the difference between the indicia extracted from a plurality of images, respectively. Determination means 22 with conditions 을 구비하는 것을 특징으로 하는 화상 정보 처리 장치.An image information processing device comprising: 제1항에 있어서,The method of claim 1, 상기 추출 수단(21)에 의해 추출된 표지(100) 간의 유사도를 평가하는 유사도 평가 수단(22)을 더 구비하고,Further comprising similarity evaluating means 22 for evaluating the similarity between the labels 100 extracted by the extracting means 21, 상기 판정 수단(22)은, 상기 유사도 평가 수단(22)의 평가 결과만으로는 상기 표지(100) 간의 다르고같음의 판정이 불가능한 경우에, 상기 위치 검출 수단(22)에 의해 검출된 해당 각 표지의 위치 정보에 기초하여 이 판정을 행하는 것을 특징으로 하는 화상 정보 처리 장치.The judging means 22 determines the position of the respective marks detected by the position detecting means 22 when it is impossible to determine the difference between the marks 100 by the evaluation result of the similarity evaluating means 22 alone. An image information processing device characterized by performing this determination based on the information. 제1항에 있어서,The method of claim 1, 상기 판정 수단(22)은, 상기 위치 검출 수단(22)에 의해 검출된 해당 각 표지(100)의 위치 정보로부터 유도된 해당 각 표지(100) 간의 거리가, 가장 가까운 표지(100)끼리 동일하다고 판정하는 것을 특징으로 하는 화상 정보 처리 장치.The determination means 22 indicates that the distance between the respective indicia 100 derived from the positional information of the respective indicia 100 detected by the position detection means 22 is the same between the nearest indicia 100. The image information processing device characterized by the above-mentioned. 복수의 화상을 입력하는 스텝(S10, S22)과,Steps S10 and S22 for inputting a plurality of images, 상기 입력된 각 화상 내에서, 표지(100)를 추출하는 스텝(S12, S24)과,Steps S12 and S24 for extracting the front cover 100 in each of the input images, 상기 추출된 표지(100)의 화상 상의 위치를 검출하는 스텝(S16, S28)과,Detecting the positions on the image of the extracted front cover 100 (S16, S28), 적어도 선택적으로 상기 검출된 상기 표지(100)의 위치에 기초하는 판정 조건을 적용하여, 상기 입력된 복수의 화상에서 각각 추출된 화상 표지 간의 다르고같음을 판정하는 스텝(S30)Step S30 of determining, by applying at least a selection condition based on the detected position of the indicia 100, the difference between two and the same image indicia extracted from the input plurality of images; 을 구비하는 것을 특징으로 하는, 복수의 화상 간에서 각 화상 내에 존재하는 표지(100)의 다르고같음을 판정하는 판정 방법.A determination method for determining whether or not the same as that of the front cover (100) existing in each image among a plurality of images. 제4항에 있어서,The method of claim 4, wherein 상기 추출된 표지(100) 간의 유사도를 평가하는 스텝(S301)을 더 구비하고,Further comprising the step (S301) of evaluating the similarity between the extracted cover 100, 상기 화상 표지 간의 다르고같음을 판정하는 스텝(S30)은, 상기 유사도의 평가 결과만으로는 상기 표지(100) 간의 다르고같음의 판정이 불가능한 경우에, 상기 위치를 검출하는 스텝(S16, S28)에 의해 검출된 해당 각 표지(100)의 위치 정보에 기초하여 이 판정을 행하는 것을 특징으로 하는 판정 방법.Step S30 for determining the difference between the image indicia is equal to the detection of the position when the determination of the difference between the image indicia is not possible only with the evaluation result of the similarity. The determination method is performed based on the positional information of the respective indicia. 제4항에 있어서,The method of claim 4, wherein 상기 화상 표지 간의 다르고같음을 판정하는 스텝(S30)은, 상기 위치를 검출하는 스텝(S16, S28)에 의해 검출된 해당 각 표지(100)의 위치 정보로부터 유도된 해당 각 표지 간의 거리가, 가장 가까운 표지끼리를 동일하다고 판정하는 것을 특징으로 하는 판정 방법.In step S30 of determining whether the image markers are different from each other and the same, the distance between the respective markers derived from the position information of the respective markers 100 detected by the steps S16 and S28 of detecting the position is the most. A determination method characterized by determining that adjacent signs are the same. 컴퓨터에 복수의 화상 간에서 각 화상 내에 존재하는 표지(100)의 다르고같음을 판정시키는 컴퓨터 프로그램으로서,A computer program for determining, by a computer, a differentness and the sameness of the front cover 100 existing in each image among a plurality of images, 컴퓨터에,On your computer, 복수의 화상을 입력시키고(S10, S22),Input a plurality of images (S10, S22), 상기 입력된 각 화상 내에서, 표지(100)를 추출시키고(S12, S24),In each of the input images, the front cover 100 is extracted (S12, S24), 상기 추출된 표지(100)의 화상 상의 위치를 검출시키며(S14, S26),Detecting the position on the image of the extracted cover 100 (S14, S26), 적어도 선택적으로 상기 검출된 상기 표지(100)의 위치에 기초하는 판정 조건을 적용하여, 상기 입력된 복수의 화상에서 각각 추출된 화상 표지 간의 다르고같음을 판정시키는(S30)Applying a determination condition based on at least the position of the detected cover page 100 at least selectively, it is determined to be different and equal between the image cover pages respectively extracted from the plurality of input images (S30). 것을 특징으로 하는 컴퓨터 프로그램.Computer program, characterized in that.
KR1020087022917A 2008-09-19 2006-03-20 Video image information processing device, judging method and computer program KR20080100371A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020087022917A KR20080100371A (en) 2008-09-19 2006-03-20 Video image information processing device, judging method and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020087022917A KR20080100371A (en) 2008-09-19 2006-03-20 Video image information processing device, judging method and computer program

Publications (1)

Publication Number Publication Date
KR20080100371A true KR20080100371A (en) 2008-11-17

Family

ID=40286954

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087022917A KR20080100371A (en) 2008-09-19 2006-03-20 Video image information processing device, judging method and computer program

Country Status (1)

Country Link
KR (1) KR20080100371A (en)

Similar Documents

Publication Publication Date Title
JP4958497B2 (en) Position / orientation measuring apparatus, position / orientation measuring method, mixed reality presentation system, computer program, and storage medium
US10713528B2 (en) System for determining alignment of a user-marked document and method thereof
JP6507730B2 (en) Coordinate transformation parameter determination device, coordinate transformation parameter determination method, and computer program for coordinate transformation parameter determination
CN103189827B (en) Object display apparatus and object displaying method
US20090010496A1 (en) Image information processing apparatus, judging method, and computer program
TWI394093B (en) An image synthesis method
JP2011198349A (en) Method and apparatus for processing information
JP5631086B2 (en) Information processing apparatus, control method therefor, and program
CN104246793A (en) Three-dimensional face recognition for mobile devices
JPWO2008090908A1 (en) Marker generation and marker detection system, method and program
EP3093822B1 (en) Displaying a target object imaged in a moving picture
JP2010287174A (en) Furniture simulation method, device, program, recording medium
CN110546679A (en) Recognition device, recognition system, recognition method, and recognition program
US20230410361A1 (en) Image processing system, processing method, and non-transitory storage medium
JP5767887B2 (en) Image processing apparatus, image processing method, and image processing program
KR20080100371A (en) Video image information processing device, judging method and computer program
JP4455294B2 (en) Image information processing apparatus, determination method, and computer program
JP2011071746A (en) Video output device, and video output method
JP2017138743A (en) Image processing apparatus, image processing method, and program
JP4380376B2 (en) Image processing apparatus, image processing method, and image processing program
JP2021047516A (en) Information processing device, coordinate conversion system, coordinate conversion method, and coordinate conversion program
JP2005227929A (en) Processing method for photography image of object, image display system, program and recording medium
JP7256314B2 (en) Positional relationship determination device
JP6805375B2 (en) Information processing equipment, information processing methods and information processing programs
WO2019053790A1 (en) Position coordinate calculation method and position coordinate calculation device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application