KR100777215B1 - Augmented reality imaging system using a hand-held mobile device - Google Patents

Augmented reality imaging system using a hand-held mobile device Download PDF

Info

Publication number
KR100777215B1
KR100777215B1 KR1020060048966A KR20060048966A KR100777215B1 KR 100777215 B1 KR100777215 B1 KR 100777215B1 KR 1020060048966 A KR1020060048966 A KR 1020060048966A KR 20060048966 A KR20060048966 A KR 20060048966A KR 100777215 B1 KR100777215 B1 KR 100777215B1
Authority
KR
South Korea
Prior art keywords
image
augmented reality
portable terminal
marker
unit
Prior art date
Application number
KR1020060048966A
Other languages
Korean (ko)
Inventor
이경준
안상철
김형곤
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020060048966A priority Critical patent/KR100777215B1/en
Application granted granted Critical
Publication of KR100777215B1 publication Critical patent/KR100777215B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering

Abstract

An augmented reality imaging system using a hand held mobile device is provided to overcome a restriction of a screen in the hand held mobile device like a portable phone or a PDA and to extend functionality of the hand held mobile device by providing a 3D augmented reality image for an LCD of the hand held mobile device. An augmented reality imaging system using a hand held mobile device comprises a portable terminal(140), an image acquisition unit(110), a memory, a marker image recognizer, an image processor(120) and a display(130). The portable terminal(140) provides plural marker images which expresses position information, enables a user to select at least one marker image via a user inputting unit, and displays the selected marker image. The image acquisition unit(110) acquires a real world image including the portable terminal(140). The memory stores plural 3D graphic images. The marker image recognizer recognizes the marker image displayed on the portable terminal(140) from the real world image. The image processor(120) forms the augmented reality image by synthesizing a 3D graphic image read form the memory on the real world image on the basis of the marker image. The display(130) displays the augmented reality image received from the image processor(120).

Description

휴대용 기기를 이용한 증강현실 영상 시스템{Augmented reality imaging system using a hand-held mobile device}Augmented reality imaging system using a hand-held mobile device}

도 1은 본 발명에 따른 증강현실 영상 시스템을 보여주는 개략도.1 is a schematic diagram showing an augmented reality imaging system according to the present invention.

도 2는 영상 처리부의 구성을 보여주는 블록도.2 is a block diagram showing a configuration of an image processor.

도 3a은 본 발명에 따른 증강 현실 영상 시스템에서 휴대가능 단말기로 휴대 전화를 이용한 예를 보여주는 예시도.Figure 3a is an exemplary view showing an example using a mobile phone as a portable terminal in the augmented reality imaging system according to the present invention.

도 3b는 도 3a에서 휴대 전화의 액정 화면에 디스플레이된 마커 영상의 위치에 증강현실 영상을 디스플레이한 예를 보여주는 도면.FIG. 3B is a diagram illustrating an example of displaying an augmented reality image at a position of a marker image displayed on a liquid crystal screen of a mobile phone in FIG. 3A; FIG.

도 4a은 본 발명에 따른 증강 현실 영상 시스템에서 휴대가능 단말기로 PDA를 이용한 예를 보여주는 예시도.Figure 4a is an exemplary view showing an example using a PDA as a portable terminal in the augmented reality imaging system according to the present invention.

도 4b는 도 4a에서 PDA의 액정 화면에 디스플레이된 마커 영상의 위치에 증강현실 영상을 디스플레이한 예를 보여주는 도면.FIG. 4B is a view illustrating an example of displaying an augmented reality image at a position of a marker image displayed on a liquid crystal screen of a PDA in FIG. 4A; FIG.

< 도면의 주요 부분에 대한 부호 설명 ><Explanation of Signs of Major Parts of Drawings>

210: 제 1 수신부 220: 메모리부210: first receiving unit 220: memory unit

230: 프로세서 240: 제 2 수신부230: processor 240: second receiving unit

250: 제 1 출력부 260: 제 2 출력부250: first output unit 260: second output unit

본 발명은 증강현실(augmented reality, AR) 영상 시스템에 관한 것으로, 특히 증강현실 영상의 인터페이스로 휴대용 장치(hand-held mobile device)를 이용한 증강현실 영상 시스템에 관한 것이다.The present invention relates to an augmented reality (AR) imaging system, and more particularly, to an augmented reality imaging system using a hand-held mobile device as an interface of an augmented reality image.

투시형 HMD (See-through head mounted display) 장치를 사용하는 증강현실 영상 시스템은 HMD 장치의 전면에 사용자가 주시하는 방향의 영상을 획득(capture)하기 위한 카메라가 장착되어 있다. 카메라를 통하여 획득한 현실세계의 영상은 영상 프로세서에서 HMD에 디스플레이될 수 있도록 영상처리된다. 이렇게 영상 처리된 현실 세계의 영상의 소정의 위치에 영상 프로세서는 원하는 영상을 증강시켜 HMD에 디스플레이함으로써 사용자가 현실세계 이외의 증강된 현실을 체험할 수 있다. 또한, 증강된 현실을 통해 사용자가 원하는 정보를 효과적으로 얻을 수 있다. An augmented reality imaging system using a see-through head mounted display (HMD) device is equipped with a camera on the front of the HMD device for capturing an image in a user's gaze. The image of the real world obtained through the camera is image-processed to be displayed on the HMD in the image processor. In this way, the image processor augments a desired image at a predetermined position of the image of the real world processed by the image and displays the image on the HMD so that the user can experience augmented reality other than the real world. In addition, it is possible to effectively obtain information desired by the user through augmented reality.

한편, 사용자의 편의를 위해 사용자의 요구사항을 증강현실 영상 시스템에 전달하여 HMD에 디스플레이된 증강현실에 반영하기 위한 다양한 인터페이스 방법들이 시도되어 왔다. 우선, 사용자의 손동작을 인식하거나 음성을 인식하는 장치를 두어 사용자의 요구사항을 입력하는 인터페이스 방법이 연구 및 시도되고 있다. 그러나 이와 같은 인터페이스 방법은 사용자의 손동작의 인식에 필요한 영상처리 또는 사용자의 음성을 인식하기 위한 음성 처리의 과정에서 비교적 많은 시스템의 자원을 사용하고, 사용자의 손 모양이나 발음의 모호함으로 인한 오류가 발생하는 단점이 있다. 또한, 사용자의 손동작 또는 음성의 인식을 통한 인터페이스 방법을 이 용하여 임의의 문자를 입력하는 것은 매우 어렵고 복잡할 뿐만 아니라, 사용자의 손동작이나 음성이 노출되기 때문에 공공의 장소에서 사용이 제한될 수밖에 없다. Meanwhile, various interface methods have been attempted to convey the user's requirements to the augmented reality imaging system to reflect the augmented reality displayed on the HMD. First, an interface method for inputting a user's requirements by providing a device for recognizing a user's hand gesture or a voice recognition has been researched and tried. However, such an interface method uses a relatively large amount of system resources in the process of image processing required for recognizing a user's hand gesture or a voice process for recognizing a user's voice, and an error occurs due to ambiguity of the user's hand shape or pronunciation. There is a disadvantage. In addition, it is very difficult and complicated to input an arbitrary character using an interface method through a user's hand gesture or voice recognition, and the user's hand gesture or voice is exposed, so its use in a public place is limited.

한편, 최근 들어 휴대 전화, PDA, 게임 콘솔 등과 같은 휴대용 기기의 발달에 따라 휴대용 기기를 통해 영화를 보거나 게임을 하는 것과 같이 휴대용 기기의 다양한 사용법이 개발되고 있다. 그러나, 휴대용 기기의 화면은 휴대성을 이유로 크기의 제약을 많이 받고 있다.Meanwhile, in recent years, with the development of portable devices such as mobile phones, PDAs, game consoles, and the like, various usages of portable devices such as watching movies or playing games through portable devices have been developed. However, the screen of a portable device is limited in size due to portability.

본 발명은 상기 문제점을 해결하기 위한 것으로, 휴대용 기기를 증강현실의 사용자 입력부로 이용함으로써 증강현실 영상에 사용자 명령을 보다 쉽고 안정적으로 입력할 수 있으며, 휴대용 기기가 가지는 화면의 제약을 극복하여 입체영상을 제공할 수 있는 증강현실 영상 시스템을 제공한다.The present invention is to solve the above problems, by using a portable device as a user input unit of the augmented reality, it is possible to more easily and stably input user commands to the augmented reality image, and to overcome the limitations of the screen of the portable device stereoscopic image Provides an augmented reality imaging system that can provide.

상기 목적을 달성하기 위한 본 발명에 따른 증강현실 영상 시스템은 위치 정보를 나타내는 다수의 마커 영상들을 제공하며, 사용자로부터 적어도 하나의 마커(marker) 영상을 선택받기 위한 사용자 입력부를 포함하고, 상기 선택된 마커 영상을 디스플레이하기 위한 휴대가능 단말기; 상기 휴대가능 단말기가 포함된 현실세계 영상을 획득하기 위한 영상 획득부; 다수의 3차원 그래픽 영상을 저장하기 위한 메모리부; 상기 현실세계 영상으로부터 상기 휴대가능 단말기에 디스플레이되는 마커 영상을 인식하여 상기 마커 영상 관련 정보를 획득하기 위한 마커 영상 인식부; 상기 마커 영상을 근거로 상기 현실세계 영상 상에 상기 메모리부로부터 독출된 상기 3차원 그래픽 영상을 합성하여 증강현실 영상을 형성하기 위한 영상 처리 부; 및 상기 영상 처리부로부터 수신한 상기 증강현실 영상을 디스플레이하기 위한 디스플레이부를 포함한다.The augmented reality imaging system according to the present invention for achieving the above object provides a plurality of marker images indicating the location information, and comprises a user input unit for receiving at least one marker image from the user, the selected marker A portable terminal for displaying an image; An image acquisition unit for acquiring a real world image including the portable terminal; A memory unit for storing a plurality of 3D graphic images; A marker image recognition unit for recognizing a marker image displayed on the portable terminal from the real-world image to obtain the marker image related information; An image processing unit for synthesizing the 3D graphic image read from the memory unit on the real-world image based on the marker image to form an augmented reality image; And a display unit for displaying the augmented reality image received from the image processor.

도 1은 본 발명에 따른 증강현실 영상 시스템을 보여주는 개략도이다. 본 발명에 따른 증강현실 영상 시스템(100)은 영상 획득부(110), 영상 처리부(120), 디스플레이부(130), 휴대가능 단말기(140) 및 마커 영상 인식부(도시하지 않음)를 포함한다. 본 발명의 일실시예에서는 마커 영상 인식부를 영상 처리부(120) 내에 장착하여 사용한다. 영상 획득부(110)는 사용자가 주시하는 방향으로 휴대가능 단말기(140)가 포함된 현실세계 영상을 획득하여 영상 처리부(120)로 전송한다. 영상 획득부(110)에서 획득한 현실세계 영상은 유선 통신 또는 무선 통신으로 영상 처리부(120)에 전송될 수 있다. 고해상도의 현실세계 영상을 얻기 위해서는 많은 양의 데이터가 필요함으로 고속으로 데이터를 전송할 수 있는 유선 통신을 이용하는 것이 바람직하다. 본 발명에 따른 영상 획득부(110)는 피사체의 입체 영상을 획득할 수 있는 스테레오 카메라(stereo camera)를 포함할 수 있다. 또한, 본 발명에 따라 사용된 스테레오 카메라는 사용자의 눈의 피로 등을 고려하여 고해상도의 현실세계 영상을 얻을 수 있는 USB 2.0 이상의 스펙(spec)을 만족하는 고성능의 카메라를 사용하는 것이 바람직하다.1 is a schematic diagram showing an augmented reality imaging system according to the present invention. Augmented reality imaging system 100 according to the present invention includes an image acquisition unit 110, an image processing unit 120, a display unit 130, a portable terminal 140 and a marker image recognition unit (not shown). . In one embodiment of the present invention, the marker image recognition unit is mounted and used in the image processor 120. The image acquirer 110 acquires a real world image including the portable terminal 140 in a direction that the user watches and transmits the image to the image processor 120. The real world image acquired by the image acquirer 110 may be transmitted to the image processor 120 by wired or wireless communication. Since a large amount of data is required to obtain a high resolution real-world image, it is preferable to use wired communication that can transmit data at high speed. The image acquisition unit 110 according to the present invention may include a stereo camera capable of acquiring a stereoscopic image of a subject. In addition, the stereo camera used according to the present invention preferably uses a high-performance camera that satisfies the specifications of USB 2.0 or higher that can obtain a high resolution real-world image in consideration of user's eye fatigue.

영상 처리부(120)는 영상 획득부(110)로부터 전송된 현실세계 영상의 소정의 위치에 3차원의 그래픽 영상을 합성하여 증강현실 영상을 생성한다. 영상 처리부(120)에서 형성된 증강현실 영상은 디스플레이부(130)로 전송되어 디스플레이된 다. 본 발명에 따른 디스플레이부(130)는 3차원 영상을 디스플레이할 수 있는 임의의 디스플레이 장치를 포함할 수 있으며, 본 발명의 일실시예에서는 디스플레이부(130)로 HMD(head mounted display) 장치를 이용한다. 본 발명의 일실시예에 따른 스테레오 카메라는 사용자가 주시하는 방향의 영상을 획득할 수 있도록 HMD 장치에 부착하여 사용하는 것이 바람직하다.The image processor 120 generates augmented reality image by synthesizing the 3D graphic image at a predetermined position of the real world image transmitted from the image acquisition unit 110. The augmented reality image formed by the image processor 120 is transmitted to the display 130 and displayed. The display unit 130 according to the present invention may include any display device capable of displaying a 3D image. In one embodiment of the present invention, the display unit 130 uses a head mounted display (HMD) device. . The stereo camera according to an embodiment of the present invention is preferably attached to the HMD device so as to obtain an image in a direction that the user observes.

휴대가능 단말기(140)는 위치 정보를 나타내는 다수의 마커 영상들을 제공하며, 사용자로부터 적어도 하나의 마커(marker) 영상을 선택받기 위한 사용자 입력부를 포함하고, 상기 선택된 마커 영상을 디스플레이한다. 사용자 입력부를 통하여 증강현실 영상에 사용자 명령의 입력을 전달할 수 있다. 사용자 명령은 증강현실 영상에 문자의 입력 명령, 증강현실 영상의 이동명령 등을 포함할 수 있다. 휴대가능 단말기(140)에 포함된 사용자 입력부를 통해 입력된 사용자 명령은 영상 처리부(120)에 전송된다. 사용자 명령은 유선 또는 무선 통신을 통하여 영상 처리부(120)에 전송될 수 있으며, 사용자가 자유롭게 휴대가능 단말기(140)을 조작하기 위해서는 무선 인터넷, 블루투스 통신, 적외선 통신, 무선랜 등과 같은 무선 통신을 사용하여 사용자 명령을 영상 처리부(120)로 전송하는 것이 바람직하다.The portable terminal 140 provides a plurality of marker images indicating location information, includes a user input unit for receiving at least one marker image from a user, and displays the selected marker image. An input of a user command may be transmitted to the augmented reality image through the user input unit. The user command may include an input command of a character in the augmented reality image, a movement command of the augmented reality image. The user command input through the user input unit included in the portable terminal 140 is transmitted to the image processing unit 120. The user command may be transmitted to the image processing unit 120 through wired or wireless communication, and the user may use wireless communication such as wireless Internet, Bluetooth communication, infrared communication, wireless LAN, etc. to freely manipulate the portable terminal 140. It is preferable to transmit a user command to the image processing unit 120.

본 발명에 따른 휴대가능 단말기(140)는 사용자 명령을 입력할 수 있는 사용자 입력부로 키패드(key pad)를 포함하며 영상 처리부(120)와 통신할 수 있는 임의의 휴대용 기기로 구현될 수 있다. 본 발명에 따른 휴대가능 단말기(140)는 휴대 전화, PDA(personal digital assistant), 휴대용 게임 콘솔 등을 사용하여 구현할 수 있다. 휴대가능 단말기(140)로 휴대 전화를 이용할 경우, 휴대 전화와 영상 처리부(120) 간의 통신을 위하여 휴대 전화 통신 서비스사로부터 통신에 필요한 소프트웨어를 유/무선 인터넷으로 다운로드(download)하거나 USB 케이블과 같은 통신 케이블 등을 이용하여 영상 처리부(120)에 직접 연결하여 통신에 필요한 소프트웨어를 다운로드한 후, 휴대전화에 설치하여 실행한다. 또한, 휴대가능 단말기(140)로 PDA, 휴대용 게임 콘솔 등을 이용할 경우, 무선랜, 블루투스 통신, 적외선 통신 등과 같은 무선 통신 장치를 장착하여 영상 처리부(120)와 통신할 수 있다.The portable terminal 140 according to the present invention may be implemented as any portable device including a keypad as a user input unit for inputting a user command and capable of communicating with the image processor 120. The portable terminal 140 according to the present invention can be implemented using a mobile phone, a personal digital assistant (PDA), a portable game console, or the like. When using a mobile phone as the portable terminal 140, for communication between the mobile phone and the image processing unit 120, the software necessary for communication is downloaded from the mobile phone communication service provider to the wired / wireless internet or a USB cable such as a USB cable. After connecting directly to the image processing unit 120 using a communication cable or the like to download the software required for communication, and installed in the mobile phone to execute. In addition, when using a PDA, a portable game console, or the like as the portable terminal 140, a wireless communication device such as a wireless LAN, a Bluetooth communication, an infrared communication, or the like may be mounted to communicate with the image processing unit 120.

마커 영상 인식부는 현실세계 영상에서 휴대가능 단말기(140)에 디스플레이된 마커 영상을 인식하여 마커 영상이 나타내는 위치 정보를 획득한다. The marker image recognizing unit recognizes the marker image displayed on the portable terminal 140 from the real world image and acquires position information indicated by the marker image.

한편, 마커 영상은 휴대가능 단말기(140)에 디스플레이된 소정의 문양을 가진 식별자를 이용할 있으며, 이러한 식별자는 휴대 전화, PDA, 휴대용 게임 콘솔 등을 휴대가능 단말기(140)로 이용할 경우, 휴대 전화, PDA, 휴대용 게임 콘솔 등에 제공되는 액정 디스플레이 장치(LCD)와 같은 디스플레이부에 휴대 전화 통신 서비스사 또는 영상 처리부(120)로부터 다운로드한 소프트웨어에서 제공되는 식별자를 디스플레이하여 마커 영상으로 이용할 수 있다. 마커 영상은 다양한 종류의 이미지를 포함하며, 마커의 종류에 따라서 메모리부에서 독출되어 현실세계 영상과 합성되는 3차원 그래픽 영상의 종류가 결정될 수 있다. 이때, 액정 디스플레이 장치와 같이 디스플레이 장치의 액정 화면에 빛이 반사되어 정확히 마커 영상를 인식하기 어려운 경우가 발생할 수 있으므로 무반사 보호 필름을 액정 화면에 부착하여 빛이 반사되는 것을 막는 것이 바람직하다.Meanwhile, the marker image may use an identifier having a predetermined pattern displayed on the portable terminal 140. When the marker image is used as the portable terminal 140, the mobile phone, An identifier provided by a software downloaded from a cellular phone communication service company or an image processor 120 may be displayed as a marker image on a display unit such as a liquid crystal display (LCD) provided in a PDA, a portable game console, or the like. The marker image may include various types of images, and the type of the 3D graphic image read from the memory unit and synthesized with the real world image may be determined according to the type of the marker. In this case, since it may be difficult to accurately recognize the marker image because light is reflected on the liquid crystal screen of the display device, such as a liquid crystal display device, it is preferable to attach the antireflective protective film to the liquid crystal screen to prevent the light from being reflected.

도 2는 영상 처리부(120)의 구성을 보여주는 블록도로서, 본 발명에 따른 영상 처리부(120)는 제 1 수신부(210), 메모리부(220), 프로세서(230), 제 2 수신부(240), 제 1 출력부(250) 및 제 2 출력부(260)를 포함한다. 제 1 수신부(210)는 영상 획득부(110)으로부터 획득한 현실 세계의 영상을 유선 또는 무선 통신으로 수신한다. 메모리부(220)는 영상 획득부(110)에서 획득한 현실 세계 영상에 합성할 다양한 종류의 3차원 그래픽 영상을 저장한다. 또한, 메모리부(220)는 본 발명에 따른 휴대가능 단말기(140)와 영상 처리부(120) 간의 통신에 필요한 소프트웨어를 저장할 수 있다. 프로세서(230)는 메모리부(220)로부터 사용자가 선택한 3차원 그래픽 영상을 독출하여 마커 인식부에서 인식된 마커 영상을 근거로 선택한 3차원 그래픽 영상을 합성하여 증강현실 영상을 형성한다. 이렇게 형성된 증강현실 영상은 디스플레이부(130)로 전송되어 디스플레이된다. 한편, 프로세서(230)는 휴대가능 단말기(140)로부터 통신에 필요한 소프트웨어를 다운로드를 요청하는 명령어를 제 2 수신부(240)로부터 수신하고, 명령어에 응답하여 메모리에 저장된 소프트웨어를 휴대가능 단말기(140)로 출력하기 위한 제 2 출력부(260)를 더 포함한다.2 is a block diagram illustrating a configuration of an image processor 120. The image processor 120 according to the present invention includes a first receiver 210, a memory 220, a processor 230, and a second receiver 240. , A first output unit 250 and a second output unit 260. The first receiver 210 receives an image of the real world obtained from the image acquirer 110 through wired or wireless communication. The memory unit 220 stores various types of 3D graphic images to be synthesized with the real world image acquired by the image acquisition unit 110. In addition, the memory unit 220 may store software necessary for communication between the portable terminal 140 and the image processor 120 according to the present invention. The processor 230 reads the 3D graphic image selected by the user from the memory unit 220, synthesizes the 3D graphic image selected based on the marker image recognized by the marker recognition unit, and forms an augmented reality image. The augmented reality image thus formed is transmitted to the display 130 and displayed. On the other hand, the processor 230 receives a command for requesting the download of the software required for communication from the portable terminal 140 from the second receiving unit 240, and in response to the command is stored in the memory of the portable terminal 140 It further includes a second output unit 260 for outputting.

도 3a은 본 발명에 따른 증강 현실 영상 시스템에서 휴대가능 단말기(140)로 휴대 전화를 이용한 예를 보여주는 예시도이다. 휴대 전화 통신 서비스사 또는 영상 처리부(120)로부터 다운로드한 소프트웨어를 설치하여 실행하면, 도 3a에 보이는 바와 같이 휴대 전화의 액정 화면(310)에 마커 영상(312)이 디스플레이된다. 도 3b는 도 3a에서 휴대 전화의 액정 화면(310)에 디스플레이된 마커 영상의 위치에 3차원 그래픽 영상(316)을 합성한 증강현실 영상을 디스플레이한 예를 보여준다. 사용자는 특수 제작된 입력 장치 없이 휴대 전화의 키패드(314)에 제공된 다수의 키를 이용하여 증가현실 영상에 용이하게 문자나 이동 명령을 입력할 수 있다.3A is an exemplary view showing an example of using a mobile phone as the portable terminal 140 in the augmented reality imaging system according to the present invention. When the software downloaded from the cellular phone communication service company or the image processing unit 120 is installed and executed, the marker image 312 is displayed on the liquid crystal screen 310 of the cellular phone as shown in FIG. 3A. FIG. 3B illustrates an example of displaying an augmented reality image obtained by synthesizing a 3D graphic image 316 at a position of a marker image displayed on a liquid crystal screen 310 of a mobile phone in FIG. 3A. The user can easily enter a text or a moving command in the augmented reality image using a plurality of keys provided on the keypad 314 of the cellular phone without a specially manufactured input device.

도 4a은 본 발명에 따른 증강 현실 영상 시스템에서 휴대가능 단말기(140)로 PDA를 이용한 예를 보여주는 예시도이다. 영상 처리부(120)로부터 다운로드한 소프트웨어를 PDA에 설치하여 실행하면, 도 4a에 보이는 바와 같이 휴대 전화의 액정 화면(410)에 마커 영상(412)이 디스플레이된다. 도 4b는 도 4a에서 PDA의 액정 화면(410)에 디스플레이된 마커 영상의 위치에 3차원 그래픽 영상(예를 들어, 3차원 테트리스 게임, 416)을 합성한 증강현실 영상 디스플레이한 예를 보여준다. 사용자는 PDA의 키패드(414)에 제공된 다수의 키를 이용하여 증강현실 영상에 문자 등을 입력할 수 있을 뿐만 아니라, 상하좌우 키와 같은 방향키를 이용하여 테트리스 게임에서 블럭을 움직이고 회전시키는 등의 명령을 사용자가 용이하게 입력할 수 있다.4A is an exemplary view showing an example of using a PDA as the portable terminal 140 in the augmented reality imaging system according to the present invention. When the software downloaded from the image processing unit 120 is installed and executed in the PDA, the marker image 412 is displayed on the liquid crystal screen 410 of the cellular phone as shown in FIG. 4A. FIG. 4B illustrates an example of displaying an augmented reality image obtained by synthesizing a 3D graphic image (eg, a 3D Tetris game 416) at a position of a marker image displayed on the liquid crystal display 410 of the PDA in FIG. 4A. The user may not only input characters and the like in the augmented reality image using a plurality of keys provided on the keypad 414 of the PDA, but also use a direction key such as up, down, left, and right keys to move and rotate blocks in the Tetris game. Can be easily input by the user.

상술한 실시예는 본 발명의 원리를 응용한 다양한 실시예의 일부를 나타낸 것에 지나지 않음을 이해해야 한다.　 본 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질로부터 벗어남이 없이 여러 가지 변형이 가능함을 명백히 알 수 있을 것이다.It is to be understood that the above described embodiments are merely illustrative of some of the various embodiments employing the principles of the present invention. It will be apparent to those skilled in the art that various modifications may be made without departing from the spirit of the invention.

본 발명에 따른 증강현실 영상 시스템은 사용자가 소유하고 있는 휴대용 기기를 증강현실 영상에 대한 사용자 입력부로 사용함으로써 사용자가 쉽고 편리하게 증강현실 영상 시스템과 인터액션(interaction)할 수 있다. 또한, 사용자가 소유하 고 있는 휴대용 기기를 이용하는 것이므로 사용자 입력부의 사용을 학습하기 위한 별도의 시간이 필요하지 않으며, 휴대용 기기에 제공되는 키패드를 이용하여 사용자 명령을 입력할 수 있으므로 다양한 문자를 용이하고 빠르게 증강현실에 적용할 수 있다.The augmented reality imaging system according to the present invention enables a user to easily and conveniently interact with the augmented reality imaging system by using a portable device owned by the user as a user input unit for the augmented reality image. In addition, since the user uses a portable device owned by the user, no time is required to learn the use of the user input unit, and a user can input a user command by using a keypad provided on the portable device. It can be applied to augmented reality quickly.

본 발명에 따른 증강 현실 영상 시스템은 휴대 전화나 PDA 등의 휴대용 기기의 액정화면에 3차원의 증강현실 영상을 제공함으로써 휴대 전화나 PDA 등의 화면이 가지는 한계를 극복할 수 있고, 휴대용 기기의 기능성을 확장시킬 수 있다. Augmented reality imaging system according to the present invention can overcome the limitations of the screen of the mobile phone or PDA by providing a three-dimensional augmented reality image on the LCD screen of the portable device, such as a mobile phone or PDA, the functionality of the portable device Can be extended.

Claims (12)

위치 정보를 나타내는 다수의 마커 영상들을 제공하며, 사용자로부터 적어도 하나의 마커(marker) 영상을 선택받기 위한 사용자 입력부를 포함하고, 상기 선택된 마커 영상을 디스플레이하기 위한 휴대가능 단말기;A portable terminal configured to provide a plurality of marker images indicating location information, the user input unit for receiving at least one marker image from a user, and to display the selected marker image; 상기 휴대가능 단말기가 포함된 현실세계 영상을 획득하기 위한 영상 획득부;An image acquisition unit for acquiring a real world image including the portable terminal; 다수의 3차원 그래픽 영상을 저장하기 위한 메모리부;A memory unit for storing a plurality of 3D graphic images; 상기 현실세계 영상으로부터 상기 휴대가능 단말기에 디스플레이되는 마커 영상을 인식하기 위한 마커 영상 인식부;A marker image recognition unit for recognizing a marker image displayed on the portable terminal from the real world image; 상기 마커 영상을 근거로 상기 현실세계 영상 상에 상기 메모리부로부터 독출된 상기 3차원 그래픽 영상을 합성하여 증강현실 영상을 형성하기 위한 영상 처리부; 및An image processor configured to form an augmented reality image by synthesizing the 3D graphic image read from the memory unit on the real world image based on the marker image; And 상기 영상 처리부로부터 수신한 상기 증강현실 영상을 디스플레이하기 위한 디스플레이부A display unit for displaying the augmented reality image received from the image processor 를 포함하는 증강현실 영상 시스템.Augmented reality imaging system comprising a. 제 1 항에 있어서,The method of claim 1, 상기 영상 처리부는The image processor 상기 영상 획득부로부터 상기 현실 세계 영상을 수신하기 위한 제 1 수신부;A first receiver configured to receive the real world image from the image acquirer; 상기 사용자 입력부를 통해 입력받은 사용자 명령을 상기 휴대가능 단말기로부터 수신하기 위한 제 2 수신부;A second receiving unit for receiving a user command received through the user input unit from the portable terminal; 상기 인식된 마커 영상에 대응하는 상기 3차원 그래픽 영상을 상기 메모리부로부터 독출하고, 상기 현실세계 영상에서 상기 인식된 마커 영상의 위치 정보에 근거하여 상기 3차원 그래픽 영상을 합성하여 증강현실 영상을 형성하기 위한 프로세서; 및The 3D graphic image corresponding to the recognized marker image is read from the memory unit, and the 3D graphic image is synthesized based on the position information of the recognized marker image in the real world image to form an augmented reality image. A processor for; And 상기 프로세서에서 형성된 상기 증강현실 영상을 상기 디스플레이부로 전송하기 위한 출력부An output unit for transmitting the augmented reality image formed by the processor to the display unit 를 포함하는 증강현실 영상 시스템.Augmented reality imaging system comprising a. 제 2 항에 있어서,The method of claim 2, 상기 메모리부로부터 독출되는 상기 3차원 그래픽 영상은 상기 마커 영상의 종류에 따라서 결정되는 증강현실 영상 시스템.The 3D graphic image read from the memory unit is determined according to the type of the marker image. 제 3 항에 있어서,The method of claim 3, wherein 상기 마커 영상을 디스플레이하는 화면에 빛의 반사를 막기 위한 무반사 보호 필름을 부착하는 것을 특징으로 하는 증강현실 영상 시스템.Augmented reality imaging system, characterized in that for attaching a non-reflective protective film to prevent the reflection of light on the screen displaying the marker image. 제 2 항에 있어서,The method of claim 2, 상기 휴대가능 단말기는 휴대 전화이며 상기 영상 처리부와 인터액션(interaction)을 위한 소프트웨어를 휴대 전화 통신 사업자로부터 유선 또는 무 선 인터넷을 통해 다운로드하여 설치하는 증강현실 영상 시스템.The portable terminal is a mobile phone and augmented reality video system for downloading and installing the software for interaction (interaction) with the image processing unit from a mobile phone carrier through a wired or wireless Internet. 제 5 항에 있어서,The method of claim 5, 상기 휴대가능 단말기에 포함된 상기 사용자 입력부는 상기 휴대 전화의 키패드(key pad)이며 상기 키패드를 통해 입력된 사용자 명령이 상기 증강현실 영상에 반영되는 증강현실 영상 시스템.The user input unit included in the portable terminal is a keypad (key pad) of the mobile phone is augmented reality imaging system is reflected in the augmented reality image user command input through the keypad. 제 2 항에 있어서,The method of claim 2, 상기 메모리부는 상기 영상 처리부와 상기 휴대가능 단말기 간의 인터액션에 필요한 소프트웨어를 더 저장하는 증강현실 영상 시스템.The memory unit further stores software necessary for interaction between the image processing unit and the portable terminal. 제 7 항에 있어서,The method of claim 7, wherein 상기 휴대가능 단말기는 PDA 및 게임 콘솔 중 어느 하나이며, 상기 영상 처리부와 인터액션을 위해서 상기 메모리부에 저장된 소프트웨어를 다운로드하여 설치하는 증강현실 영상 시스템.The portable terminal is any one of a PDA and a game console, and augmented reality imaging system for downloading and installing the software stored in the memory unit for interaction with the image processing unit. 제 8 항에 있어서,The method of claim 8, 상기 사용자 입력부는 상기 PDA 또는 상기 게임 콘솔에 제공된 키패드이며, 상기 키패드를 통해 입력된 사용자 명령이 상기 증강현실 영상에 반영되는 증강현실 영상 시스템.The user input unit is a keypad provided to the PDA or the game console, the augmented reality imaging system in which a user command input through the keypad is reflected in the augmented reality image. 제 9 항에 있어서,The method of claim 9, 상기 영상 처리부는 상기 소프트웨어를 상기 휴대가능 단말기에 전송하기 위한 출력부를 더 포함하는 증강현실 영상 시스템.The image processing unit further comprises an output unit for transmitting the software to the portable terminal. 제 2 항에 있어서,The method of claim 2, 상기 영상 획득부는 스테레오 카메라인 증강현실 영상 시스템.The image acquisition unit is a stereo camera augmented reality imaging system. 제 2 항에 있어서,The method of claim 2, 상기 디스플레이부는 HMD(head mounted display) 장치인 증강현실 영상 시스템.The display unit is an augmented reality imaging system is a head mounted display (HMD) device.
KR1020060048966A 2006-05-30 2006-05-30 Augmented reality imaging system using a hand-held mobile device KR100777215B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060048966A KR100777215B1 (en) 2006-05-30 2006-05-30 Augmented reality imaging system using a hand-held mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060048966A KR100777215B1 (en) 2006-05-30 2006-05-30 Augmented reality imaging system using a hand-held mobile device

Publications (1)

Publication Number Publication Date
KR100777215B1 true KR100777215B1 (en) 2007-11-19

Family

ID=39080014

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060048966A KR100777215B1 (en) 2006-05-30 2006-05-30 Augmented reality imaging system using a hand-held mobile device

Country Status (1)

Country Link
KR (1) KR100777215B1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100988759B1 (en) 2010-03-05 2010-10-20 재단법인 광양만권 유아이티연구소 System for learning english depending on a situation based on the recognizing position
KR101047615B1 (en) 2009-11-02 2011-07-07 삼성에스디에스 주식회사 Augmented Reality Matching System and Method Using Resolution Difference
KR101090081B1 (en) 2010-03-16 2011-12-07 주식회사 시공테크 System for providing of augmented reality and method thereof
US8239132B2 (en) 2008-01-22 2012-08-07 Maran Ma Systems, apparatus and methods for delivery of location-oriented information
WO2013009047A2 (en) * 2011-07-11 2013-01-17 Korea Institute Of Science And Technology Head mounted display apparatus and contents display method
WO2013129729A1 (en) * 2012-02-28 2013-09-06 주식회사 케이쓰리아이 System for searching augmented reality image in real-time by using layout descriptor and image feature point
US8872852B2 (en) 2011-06-30 2014-10-28 International Business Machines Corporation Positional context determination with multi marker confidence ranking
KR101559586B1 (en) * 2009-05-19 2015-10-13 한양대학교 산학협력단 Apparatus and method for guiding information using augmented reality
WO2017048286A1 (en) 2015-09-18 2017-03-23 Hewlett-Packard Development Company, L.P. Displaying augmented images via paired devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050055506A (en) * 2003-12-08 2005-06-13 한국전자통신연구원 Location information offering system and method of portable terminal user using augmented reality
KR20050055507A (en) * 2003-12-08 2005-06-13 한국전자통신연구원 Parts maintenance system and method using augmented reality
KR20050078136A (en) * 2004-01-30 2005-08-04 삼성전자주식회사 Method for providing local information by augmented reality and local information service system therefor
KR20050082559A (en) * 2004-02-19 2005-08-24 주식회사 소니컴퓨터 엔터테인먼트 코리아 Dance learning system, internet community service system and internet community service method using the same, dance learning method, and computer executable recording media on which programs implement said methods are recorded

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050055506A (en) * 2003-12-08 2005-06-13 한국전자통신연구원 Location information offering system and method of portable terminal user using augmented reality
KR20050055507A (en) * 2003-12-08 2005-06-13 한국전자통신연구원 Parts maintenance system and method using augmented reality
KR20050078136A (en) * 2004-01-30 2005-08-04 삼성전자주식회사 Method for providing local information by augmented reality and local information service system therefor
KR20050082559A (en) * 2004-02-19 2005-08-24 주식회사 소니컴퓨터 엔터테인먼트 코리아 Dance learning system, internet community service system and internet community service method using the same, dance learning method, and computer executable recording media on which programs implement said methods are recorded

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8239132B2 (en) 2008-01-22 2012-08-07 Maran Ma Systems, apparatus and methods for delivery of location-oriented information
US8914232B2 (en) 2008-01-22 2014-12-16 2238366 Ontario Inc. Systems, apparatus and methods for delivery of location-oriented information
KR101559586B1 (en) * 2009-05-19 2015-10-13 한양대학교 산학협력단 Apparatus and method for guiding information using augmented reality
KR101047615B1 (en) 2009-11-02 2011-07-07 삼성에스디에스 주식회사 Augmented Reality Matching System and Method Using Resolution Difference
KR100988759B1 (en) 2010-03-05 2010-10-20 재단법인 광양만권 유아이티연구소 System for learning english depending on a situation based on the recognizing position
KR101090081B1 (en) 2010-03-16 2011-12-07 주식회사 시공테크 System for providing of augmented reality and method thereof
US8872852B2 (en) 2011-06-30 2014-10-28 International Business Machines Corporation Positional context determination with multi marker confidence ranking
US9147379B2 (en) 2011-06-30 2015-09-29 International Business Machines Corporation Positional context determination with multi marker confidence ranking
WO2013009047A2 (en) * 2011-07-11 2013-01-17 Korea Institute Of Science And Technology Head mounted display apparatus and contents display method
KR101315303B1 (en) 2011-07-11 2013-10-14 한국과학기술연구원 Head mounted display apparatus and contents display method
WO2013009047A3 (en) * 2011-07-11 2013-03-14 Korea Institute Of Science And Technology Head mounted display apparatus and contents display method
US9250443B2 (en) 2011-07-11 2016-02-02 Korea Institute Of Science And Technology Head mounted display apparatus and contents display method
WO2013129729A1 (en) * 2012-02-28 2013-09-06 주식회사 케이쓰리아이 System for searching augmented reality image in real-time by using layout descriptor and image feature point
WO2017048286A1 (en) 2015-09-18 2017-03-23 Hewlett-Packard Development Company, L.P. Displaying augmented images via paired devices
CN108140261A (en) * 2015-09-18 2018-06-08 惠普发展公司，有限责任合伙企业 Enhancing image is shown via paired device
US10503977B2 (en) 2015-09-18 2019-12-10 Hewlett-Packard Development Company, L.P. Displaying augmented images via paired devices
CN108140261B (en) * 2015-09-18 2022-04-15 惠普发展公司，有限责任合伙企业 Displaying an enhanced image via a paired device

Similar Documents

Publication Publication Date Title
KR100777215B1 (en) Augmented reality imaging system using a hand-held mobile device
CN105988666B (en) Mobile terminal and control method thereof
US10132633B2 (en) User controlled real object disappearance in a mixed reality display
US8094091B2 (en) Information presenting apparatus, method, and computer program product
CN110603515A (en) Virtual content displayed with shared anchor points
EP3093751A1 (en) Display apparatus and method of controlling display apparatus
US10999412B2 (en) Sharing mediated reality content
US20130321255A1 (en) Navigating content in an hmd using a physical object
WO2015200406A1 (en) Digital action in response to object interaction
KR20150023293A (en) Headset computer (hsc) as auxiliary display with asr and ht input
JP2016507970A (en) Bidirectional wearable portable smart device
US20140071044A1 (en) Device and method for user interfacing, and terminal using the same
KR101748126B1 (en) Apparatus and method for user interfacing, and terminal apparatus using the method
CN111742281A (en) Electronic device for providing second content according to movement of external object for first content displayed on display and operating method thereof
US20190197788A1 (en) Method and system for synchronizing a plurality of augmented reality devices to a virtual reality device
WO2019114092A1 (en) Image augmented reality method and apparatus, and augmented reality display device and terminal
KR20200144702A (en) System and method for adaptive streaming of augmented reality media content
US11212442B2 (en) Creation and display of a 360 degree looping video file
KR102175519B1 (en) Apparatus for providing virtual contents to augment usability of real object and method using the same
KR20220057388A (en) Terminal for providing virtual augmented reality and control method thereof
CN112698778A (en) Method and device for target transmission between devices and electronic device
KR101939530B1 (en) Method and apparatus for displaying augmented reality object based on geometry recognition
EP3813026A1 (en) Method and electronic device for displaying content
KR20150013372A (en) Mobile marketing application integrated system
US20240078734A1 (en) Information interaction method and apparatus, electronic device and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121031

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131029

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141103

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20151102

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20171101

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20181101

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20191028

Year of fee payment: 13