KR100686525B1 - Projector-camera system and focusing method for augmented reality environment - Google Patents

Projector-camera system and focusing method for augmented reality environment Download PDF

Info

Publication number
KR100686525B1
KR100686525B1 KR1020050013973A KR20050013973A KR100686525B1 KR 100686525 B1 KR100686525 B1 KR 100686525B1 KR 1020050013973 A KR1020050013973 A KR 1020050013973A KR 20050013973 A KR20050013973 A KR 20050013973A KR 100686525 B1 KR100686525 B1 KR 100686525B1
Authority
KR
South Korea
Prior art keywords
image
projector
external
projected
camera
Prior art date
Application number
KR1020050013973A
Other languages
Korean (ko)
Other versions
KR20050029172A (en
Inventor
이기혁
심재원
Original Assignee
한국정보통신대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국정보통신대학교 산학협력단 filed Critical 한국정보통신대학교 산학협력단
Priority to KR1020050013973A priority Critical patent/KR100686525B1/en
Publication of KR20050029172A publication Critical patent/KR20050029172A/en
Application granted granted Critical
Publication of KR100686525B1 publication Critical patent/KR100686525B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Projection Apparatus (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 프로젝터 카메라 시스템에서 프로젝터와 카메라가 하나의 광학 좌표를 공유하여 증강현실을 구현하는 것으로, 이를 위하여 본 발명은, 프로젝션 기능을 갖는 프로젝터 카메라 시스템에서 프로젝터와 카메라가 다른 각도로 프로젝션 면을 바라보기 때문에 프로젝터와 카메라 각각의 좌표 변환을 수행하는 종래와는 달리, 프로젝터를 이용한 영상 투사를 통해 영상을 디스플레이하는 프로젝터 카메라 시스템에서 프로젝션하고자 하는 영상을 교번적으로 온/오프 디스플레이시키고, 교번적으로 디스플레이되는 영상을 렌즈를 통해 외부 프로젝션 측으로 투사하며, 디스플레이되는 영상이 오프일 때, 렌즈를 통해 외부 프로젝터 측으로부터 전달되는 외부 영상을 촬상하고, 촬상된 외부 영상을 이용하여 프로젝션하고자 하는 영상의 포커싱을 제어함으로써, 프로젝션 기능을 갖는 프로젝터 카메라 시스템에서 프로젝터와 카메라가 동일한 광학 시스템을 가지기 때문에 촬상된 외부 영상을 이용하여 투사 영상을 포커싱을 효과적으로 제어하고, 프로젝터와 카메라 각각의 좌표 변환을 수행하는 보정없이 프로젝션 기반의 증강현실을 구현할 수 있는 것이다.The present invention implements augmented reality by sharing a single optical coordinates of the projector and the camera in the projector camera system, for the present invention, in the projector camera system having a projection function, the projector and the camera facing the projection plane at different angles Unlike the conventional method of performing coordinate conversion of the projector and the camera because of the view, the projector camera system displaying the image by projecting the image using the projector alternately turns on / off the image to be projected on and off alternately. Project the image to the external projection side through the lens, and when the displayed image is off, capture the external image transmitted from the external projector side through the lens, and use the captured external image to defocus the image to be projected. In other words, in a projector camera system having a projection function, since the projector and the camera have the same optical system, the projection image is effectively controlled by using the captured external image, and the projection is performed without correction to perform coordinate conversion of the projector and the camera. It can be implemented based on augmented reality.

Description

증강 현실 구현을 위한 프로젝터 카메라 시스템 및 포커싱 방법{PROJECTOR-CAMERA SYSTEM AND FOCUSING METHOD FOR AUGMENTED REALITY ENVIRONMENT}PROJECTOR-CAMERA SYSTEM AND FOCUSING METHOD FOR AUGMENTED REALITY ENVIRONMENT}

도 1은 종래의 프로젝터 카메라 시스템에서 카메라와 프로젝터가 다른 각도로 구성된 경우 촬상 영상과 투사 영상을 예시한 도면,1 is a view illustrating a captured image and a projection image when a camera and a projector are configured at different angles in a conventional projector camera system;

도 2는 본 발명에 따라 카메라 입력과 프로젝터 출력이 동일한 광학축을 공유하여 촬상 영상을 통해 투사 영상의 포커싱을 제어하는데 적합한 프로젝터 카메라 시스템의 구성도,2 is a configuration diagram of a projector camera system suitable for controlling focusing of a projection image through a captured image by sharing the same optical axis of the camera input and the projector output according to the present invention;

도 3은 본 발명에 따라 프로젝터 카메라 시스템에서 카메라 입력과 프로젝터 출력이 동일한 광학축을 공유할 경우 촬상 영상과 투사 영상을 예시한 도면,3 is a view illustrating a captured image and a projected image when a camera input and a projector output share the same optical axis in a projector camera system according to the present invention;

도 4는 본 발명의 일 실시 예에 따라 프로젝터 카메라 시스템에서 카메라 입력과 프로젝터 출력이 동일한 광학축을 공유하여 촬상 영상을 통해 투사 영상의 포커싱을 제어하는 과정을 도시한 플로우차트.4 is a flowchart illustrating a process of controlling focusing of a projected image through a captured image by sharing a same optical axis of a camera input and a projector output in a projector camera system according to an exemplary embodiment of the present invention.

<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

202 : 제어 수단 204 : 광원202 control means 204 light source

206 : LCD 패널 208 : 영상 경로 굴절 수단206: LCD panel 208: image path refraction means

210 : 프로젝션 줌 렌즈 212 : 스크린210: Projection zoom lens 212: Screen

214 : 카메라214: camera

본 발명은 프로젝터 카메라 시스템에서 영상의 포커싱을 제어하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 프로젝션(projection) 기능을 갖는 프로젝터 카메라 시스템에서 프로젝터와 카메라간의 광학축을 공유하여 자동으로 포커싱하는데 적합한 증강 현실 구현을 위한 프로젝터 카메라 시스템 및 포커싱 방법에 관한 것이다.The present invention relates to an apparatus and method for controlling focusing of an image in a projector camera system, and more particularly, to augmented reality suitable for automatically focusing by sharing an optical axis between a projector and a camera in a projector camera system having a projection function. Projector camera system and focusing method for implementation.

잘 알려진 바와 같이, 프로젝션 기반의 증강 현실 구현(Augmented Reality Embodiment)은 HCI(Human-Computer Interaction)의 여러 분야에서 연구, 응용되어 왔으며, 이러한 일 예로서 프로젝션 기능을 갖는 프로젝터 카메라 시스템이 구현되어 있다.As is well known, augmented reality implementation based on projection has been researched and applied in various fields of human-computer interaction (HCI), and as an example, a projector camera system having a projection function is implemented.

이러한 프로젝션 기능이 부가된 프로젝터 카메라 시스템은 일반적인 카메라의 뷰 파인더(view finder)에 설치된 LCD(Liquid Crystal Display)를 이용하여 영상신호를 프로젝션하도록 한 것으로 카메라 촬영 시에는 뷰 파인더로 현재 촬영되고 있는 피사체의 화면을 촬영자가 볼 수 있도록 하고, 저장 매체(예를 들면, 자기 테이프, 하드디스크 등)에 기록된 영상 신호를 재생시켜 스크린상에 디스플레이하고자할 때는 뷰 파인더의 LCD를 이용하여 재생된 영상 신호가 LCD에 디스플레이되도록 하고 디스플레이된 영상신호를 프로젝션시켜 스크린상에 디스플레이 시킬 수 있도록 한 것이다.Projector camera system with this projection function is to project the video signal using LCD (Liquid Crystal Display) installed in the view finder of general cameras. If you want to make the screen visible to the photographer and play back the video signal recorded on the storage media (e.g. magnetic tape, hard disk, etc.) and display it on the screen, the video signal played back using the viewfinder's LCD It is to be displayed on the LCD and to project the displayed video signal to be displayed on the screen.

하지만, 이러한 프로젝터 카메라 시스템은 카메라와 프로젝터가 소정 각도로 구성 되어 프로젝션면(스크린)을 바라보고 있어 프로젝터에 의하여 투사되는 영상의 좌표와 카메라를 통해 촬상된 영상의 좌표를 일치시키는 변환 과정이 필요하다.However, such a projector camera system requires a conversion process that matches the coordinates of the image projected by the projector with the coordinates of the image projected by the projector because the camera and the projector are configured at a predetermined angle to face the projection plane (screen). .

그래서, 소프트웨어적인 방법으로 소정의 보정을 수행하지만 정확하게 일치시키기 어렵고, 프로젝션면이 변할 경우 카메라와 프로젝터의 상대적인 위치를 조정하여 보정을 다시 해야하는 번거로움이 있었다.Therefore, although a predetermined correction is performed by a software method, it is difficult to exactly match it, and when the projection surface changes, it is cumbersome to adjust the relative position of the camera and the projector again.

또한, 도 1 에 도시한 바와 같이 프로젝터 카메라 시스템에서 프로젝션면과 피사체를 카메라로 촬상할 때 프로젝션되는 화면의 영상까지 촬상되는 문제점이 있었다.In addition, as illustrated in FIG. 1, when the projection surface and the subject are photographed by the camera in the projector camera system, there is a problem of imaging the image of the projected screen.

따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위한 것으로, 프로젝션 기능을 갖는 프로젝터 카메라 시스템에서 카메라의 입력과 프로젝터 출력이 동일한 광학축을 공유할 때 외부 영상을 이용하여 프로젝션하고자 하는 영상의 포커싱을 제어할 수 있는 증강 현실 구현을 위한 프로젝터 카메라 시스템 및 포커싱 방법을 제공하는데 그 목적이 있다.Accordingly, the present invention is to solve the above-mentioned problems of the prior art, in the projection camera system having a projection function when the input of the camera and the projector output share the same optical axis to focus the image to be projected using an external image An object of the present invention is to provide a projector camera system and a focusing method for controlling augmented reality.

상기 목적을 달성하기 위한 일 관점에서 본 발명은, 프로젝터를 이용한 영상 투사를 통해 영상을 디스플레이하는 프로젝터 카메라 시스템의 포커싱을 제어하는 장치로서, 기 설정된 주기로 온/오프되는 조사광에 응답하여, 프로젝션하고자 하는 영상의 디스플레이를 상기 기 설정된 주기로 온/오프하는 수단과, 상기 디스플레이 온된 영상을 렌즈를 통해 외부 프로젝션 측으로 투사하는 수단과, 상기 조사광이 오프일 때, 상기 렌즈를 통해 상기 외부 프로젝션 측으로부터 전달되는 외부 영상을 촬상하는 카메라 수단과, 상기 촬상된 외부 영상을 이용하여 상기 프로젝션하고자 하는 영상의 포커싱을 제어하는 수단을 포함하는 증강 현실 구현을 위한 프로젝터 카메라 시스템을 제공한다.In one aspect to achieve the above object, the present invention is a device for controlling the focusing of the projector camera system for displaying an image by projecting the image using a projector, in order to project in response to the irradiation light on / off at a predetermined period Means for turning on / off the display of an image at the predetermined period, means for projecting the displayed on-image through the lens to the external projection side, and when the irradiation light is off, transmitted from the external projection side through the lens It provides a projector camera system for implementing augmented reality comprising a camera means for capturing the external image, and means for controlling the focusing of the image to be projected using the captured external image.

또한, 상기 목적을 달성하기 위한 다른 관점에서 본 발명은, 프로젝터를 이용한 영상 투사를 통해 영상을 디스플레이하는 프로젝터 카메라 시스템의 포커싱을 제어하는 방법으로서, 프로젝션하고자 하는 영상을 교번적으로 온/오프 디스플레이시키는 과정과, 교번적으로 디스플레이되는 영상을 렌즈를 통해 외부 프로젝션 측으로 투사하는 과정과, 상기 영상이 오프일 때, 상기 렌즈를 통해 상기 외부 프로젝터 측으로부터 전달되는 외부 영상을 촬상하는 과정과, 상기 촬상된 외부 영상을 이용하여 상기 프로젝션하고자 하는 영상의 포커싱을 제어하는 과정을 포함하는 증강 현실 구현을 위한 프로젝터 카메라 시스템의 포커싱 방법을 제공한다.In another aspect, the present invention provides a method of controlling the focusing of a projector camera system for displaying an image by projecting an image using a projector, which alternately turns on / off an image to be projected. A process of projecting an alternately displayed image to an external projection side through a lens; and imaging an external image transmitted from the external projector side through the lens when the image is off; A focusing method of a projector camera system for augmented reality including a process of controlling focusing of an image to be projected by using an external image.

본 발명의 상기 및 기타 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시 예로부터 더욱 명확하게 될 것이다.The above and other objects and various advantages of the present invention will become more apparent from the preferred embodiments of the present invention described below with reference to the accompanying drawings by those skilled in the art.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 핵심 기술요지는, 프로젝션 기능을 갖는 프로젝터 카메라 시스템에서 프로젝터와 카메라가 다른 각도로 프로젝션 면을 바라보기 때문에 프로젝터와 카메라 각각의 좌표 변환을 수행하는 종래 방법과는 달리, 프로젝터를 이용한 영상 투사를 통해 영상을 디스플레이하는 프로젝터 카메라 시스템에서 프로젝션하고자 하는 영 상을 교번적으로 온/오프 디스플레이시키고, 교번적으로 디스플레이되는 영상을 렌즈를 통해 외부 프로젝션 측으로 투사하며, 디스플레이되는 영상이 오프일 때, 렌즈를 통해 외부 프로젝터 측으로부터 전달되는 외부 영상을 촬상하고, 촬상된 외부 영상을 이용하여 프로젝션하고자 하는 영상의 포커싱을 제어한다는 것으로, 이러한 기술적 수단을 통해 본 발명에서 목적으로 하는 바를 쉽게 달성할 수 있다.A key technical aspect of the present invention is to project an image using a projector, unlike a conventional method of performing coordinate transformation of the projector and the camera because the projector and the camera look at the projection plane at different angles in the projector camera system having a projection function. In the projector camera system displaying an image through the display, images to be projected alternately on / off are alternately displayed, and the alternately displayed images are projected to the external projection side through the lens, and when the displayed image is off, the lens By capturing the external image transmitted from the external projector side through, and controlling the focusing of the image to be projected by using the captured external image, it is easy to achieve the purpose of the present invention through such technical means.

도 2는 본 발명에 따라 카메라 입력과 프로젝터 출력이 동일한 광학축을 공유하여 촬상 영상을 통해 투사 영상의 포커싱을 제어하는데 적합한 프로젝터 카메라 시스템의 구성도로서, 제어 수단(202), 광원(204), LCD 패널(206), 영상 경로 굴절 수단(208), 프로젝션 줌 렌즈(210), 스크린(212) 및 카메라(214)를 포함한다.2 is a configuration diagram of a projector camera system suitable for controlling the focusing of a projection image through a captured image by sharing the same optical axis of the camera input and the projector output according to the present invention, wherein the control means 202, the light source 204, and the LCD are shown. A panel 206, an image path refraction means 208, a projection zoom lens 210, a screen 212 and a camera 214.

도 2를 참조하면, 제어 수단(202)은 예를 들면, 마이크로 프로세서 등을 포함하여 프로젝터 카메라 시스템의 전반적인 동작 제어를 수행하는 것으로, 광원(204)을 기 설정된 주기(예를 들면, 75Hz 등)에 따라 교번적으로 온/오프시키고, 이에 따라 프로젝션하고자 하는 영상을 LCD 패널(206)로 전달하여 이러한 영상이 기 설정된 주기에 따라 교번적으로 디스플레이되도록 제어한다. 여기에서, 기 설정된 주기는 사람이 눈으로 인식할 수 없을 정도 즉. 70Hz이상의 주기를 의미한다.Referring to FIG. 2, the control means 202 performs overall operation control of the projector camera system, including a microprocessor, for example, and sets the light source 204 at a predetermined period (eg, 75 Hz, etc.). Alternately on / off, and accordingly transfers an image to be projected to the LCD panel 206 so that such images are alternately displayed according to a predetermined period. Here, the preset period is such that the human can not recognize the eye. It means the period above 70Hz.

또한, 제어 수단(202)에서는 LCD 패널(206)을 통해 디스플레이되는 영상이 온 될 때 이 영상을 영상 경로 굴절 수단(208)을 투과시키고, 프로젝션 줌 렌즈(210)를 통해 스크린(212) 상에 영상이 투사되도록 제어한다.In addition, the control means 202 transmits the image through the image path refraction means 208 when the image displayed through the LCD panel 206 is turned on, and on the screen 212 through the projection zoom lens 210. Control the image to be projected.

한편, 제어 수단(202)에서는 LCD 패널(206)을 통해 디스플레이되는 영상이 오프 될 때, 카메라(214)를 통해 촬상된 영상을 제공받아 이러한 촬상 영상(즉, 외부 영상) 의 포커싱을 제어하고, 이에 따라 LCD 패널(206)에 디스플레이되는 프로젝션하고자 하는 영상(즉, 투사 영상)의 포커싱을 제어하는 등의 기능을 수행한다. On the other hand, the control means 202 receives an image captured by the camera 214 when the image displayed through the LCD panel 206 is turned off, and controls the focusing of the captured image (ie, an external image), Accordingly, a function of controlling focusing of an image to be projected (that is, a projected image) displayed on the LCD panel 206 is performed.

즉, 프로젝션하고자 하는 영상의 투사와 카메라(214)를 통해 촬상하는 외부 영상의 입력이 시간분할 방식으로 교번적으로 수행된다.That is, projection of an image to be projected and input of an external image captured by the camera 214 are alternately performed in a time division manner.

그리고, 광원(204)은 예를 들면, LED인 것으로, 카메라(214)와 동기화되어 기 설정된 주기(예를 들면, 70 Hz 등)에 따라 교번적으로 온/오프되고, 이에 따라 LCD 패널(206)을 통해 프로젝션하고자 하는 영상이 기 설정된 주기에 따라 교번적으로 디스플레이된다.The light source 204 is, for example, an LED, and is alternately turned on / off according to a preset period (for example, 70 Hz, etc.) in synchronization with the camera 214, and thus the LCD panel 206. ), Images to be projected are alternately displayed at preset intervals.

다음에, 영상 경로 굴절 수단(208)은 예를 들면, 광학 빔 스플리터인 것으로, LCD 패널(206)로부터 전달되는 프로젝션하고자 하는 영상을 투과시켜 프로젝터 줌 렌즈(210)로 전달하고, 프로젝션 줌 렌즈를 통해 입력되는 외부 영상(즉, 스크린상의 영상)을 임의의 각도로 굴절시켜 카메라(214)로 유도한다.Next, the image path refraction means 208 is, for example, an optical beam splitter, which transmits the image to be projected from the LCD panel 206 to the projector zoom lens 210 and transmits the projection zoom lens. The external image (that is, the image on the screen) input through the image is refracted at an arbitrary angle to guide the camera 214.

다음에, 프로젝터 줌 렌즈(210)는 영상 경로 굴절 수단(208)으로부터 전달되는 프로젝션하고자 하는 영상을 확대하여 스크린(212) 상에 투사하고, 스크린(212) 상의 외부 영상을 축소하여 영상 경로 굴절 수단(208)으로 전달한다. 여기에서, 프로젝션하고자 하는 영상(즉, 투사 영상)이 투사되는 광학축과 외부 영상이 전달되는 광학축은 동일한 광학축을 공유하게 된다. 즉, 카메라 입력과 프로젝터 출력이 동일한 광학축을 공유하게 된다.Next, the projector zoom lens 210 enlarges and projects the image to be projected transmitted from the image path refraction means 208 on the screen 212, and reduces the external image on the screen 212 to reduce the image path refraction means. Forward to 208. Here, the optical axis to which the image to be projected (that is, the projected image) is projected and the optical axis to which the external image is transmitted share the same optical axis. In other words, the camera input and the projector output share the same optical axis.

일 예로서, 도 3은 본 발명에 따라 프로젝터 카메라 시스템에서 카메라 입력과 프로젝터 출력이 동일한 광학축을 공유할 경우 촬상 영상과 투사 영상을 예시한 도면 이다.As an example, FIG. 3 is a diagram illustrating a captured image and a projected image when the camera input and the projector output share the same optical axis in the projector camera system according to the present invention.

한편, 카메라(214)는 광원(204)과 동기화되어 영상 경로 굴절 수단(208)을 통해 유도된 외부 영상을 촬상한 후에 이를 제어 수단(202)으로 제공한다.On the other hand, the camera 214 is synchronized with the light source 204 to capture the external image guided through the image path refraction means 208 and provide it to the control means 202.

다음에, 상술한 바와 같은 구성을 갖는 프로젝터 카메라 시스템에서 프로젝터 출력과 카메라입력이 동일한 광학축을 공유하며, 카메라와 광원을 동기시킨 상태에서 교번적으로 온/오프하는 광원에 따라 카메라에 촬상되는 외부 영상을 이용하여 프로젝터 출력 영상의 포커싱을 제어하는 과정에 대해 설명한다.Next, in the projector camera system having the above-described configuration, the projector output and the camera input share the same optical axis, and the external image captured by the camera according to the light source alternately turned on / off while the camera and the light source are synchronized. A process of controlling the focusing of the projector output image using the following will be described.

도 4는 본 발명의 일 실시 예에 따라 프로젝터 카메라 시스템에서 카메라 입력과 프로젝터 출력이 동일한 광학축을 공유하여 촬상되는 외부 영상을 통해 투사 영상의 포커싱을 제어하는 과정을 도시한 플로우차트이다.FIG. 4 is a flowchart illustrating a process of controlling focusing of a projected image through an external image captured by a camera input and a projector output sharing the same optical axis in a projector camera system according to an exemplary embodiment.

도 4를 참조하면, 프로젝터를 이용한 영상 투사를 통해 영상을 디스플레이하는 프로젝터 카메라 시스템의 작동 모드에서(단계402), 제어 수단(202)에서 광원(204)을 기 설정된 주기(예를 들면, 75Hz 등)에 따라 교번적으로 온/오프시키고, 이에 따라 프로젝션하고자 하는 영상을 LCD 패널(206)로 전달하면 이러한 영상이 기 설정된 주기에 따라 교번적으로 디스플레이된다(단계404).Referring to FIG. 4, in the operation mode of the projector camera system for displaying an image through image projection using a projector (step 402), the control unit 202 sets the light source 204 to a preset period (for example, 75 Hz or the like). By alternately turning on / off, and accordingly transfers the image to be projected to the LCD panel 206, such image is displayed alternately according to a predetermined period (step 404).

여기에서, 광원(204)은 예를 들면, LED를 의미하며, 기 설정된 주기는 사람이 눈으로 인식할 수 없을 정도의 주기 즉. 70 Hz이상의 주기를 의미하고, 광원(204)과 카메라(214)는 동기화 되어 광원(204)의 온/오프에 따라 카메라(214)를 통한 외부 영상의 촬상이 오프/온 된다.Herein, the light source 204 means, for example, an LED, and the preset period is a period that is not recognized by the human eye. It means a period of 70 Hz or more, the light source 204 and the camera 214 is synchronized so that the imaging of the external image through the camera 214 is turned on / off in accordance with the on / off of the light source 204.

그리고, LCD 패널(206)을 통해 기 설정된 주기에 따라 교번적으로 디스플레 이되는 투사 영상(즉, 프로젝션하고자 하는 영상)은 영상 경로 굴절 수단(208)을 투과하고, 이러한 영상은 프로젝터 줌 렌즈(210)를 통해 확대되어 스크린(212) 상에 투사된다(단계406). 여기에서, 영상 경로 굴절 수단(208)은 예를 들면, 광학 빔 스플리터를 의미한다.In addition, a projection image (that is, an image to be projected) alternately displayed through a predetermined period through the LCD panel 206 passes through the image path refraction means 208, and the image is projected by the projector zoom lens 210. And is projected onto the screen 212 (step 406). Here, the image path refraction means 208 means, for example, an optical beam splitter.

한편, 스크린(212) 상에 영상이 투사되는 중에 제어 수단(202)에서는 광원(204)의 오프에 따른 프로젝션하고자 하는 영상의 투사가 오프되는지를 체크한다(단계408). 즉, 제어 수단(202)에서는 기 설정된 주기(예를 들면, 75 Hz 등)가 되는지를 체크한다.On the other hand, while the image is being projected on the screen 212, the control means 202 checks whether the projection of the image to be projected due to the off of the light source 204 is turned off (step 408). In other words, the control means 202 checks whether or not a predetermined period (for example, 75 Hz) is reached.

상기 단계(408)에서의 체크 결과, 프로젝션하고자 하는 영상의 투사가 오프될 때 스크린(212) 상의 외부 영상을 프로젝터 줌 렌즈(210)를 통해 축소하여 영상 경로 굴절 수단(208)으로 전달되고, 이러한 영상은 영상 경로 굴절 수단(208)을 통해 임의의 각도로 굴절되어 카메라(214)로 유도되며, 유도된 외부 영상은 카메라(214)를 통해 촬상된다(단계410).As a result of the check in step 408, when the projection of the image to be projected is turned off, the external image on the screen 212 is reduced through the projector zoom lens 210 and transferred to the image path refraction means 208. The image is refracted at an angle through the image path refraction means 208 and guided to the camera 214, and the induced external image is captured by the camera 214 (step 410).

이어서, 카메라(214)를 통해 촬상되는 외부 영상은 제어 수단(202)으로 전달되고, 제어 수단(202)에서는 촬상된 외부 영상의 포커싱을 제어한다(단계412). 즉, 촬상된 외부 영상에 따라 프로젝터 줌 렌즈(210)를 조절하여 외부 영상의 포커싱을 제어한다.Then, the external image captured by the camera 214 is transferred to the control means 202, and the control means 202 controls the focusing of the captured external image (step 412). That is, the focusing of the external image is controlled by adjusting the projector zoom lens 210 according to the captured external image.

이 후에, 포커싱이 제어된 외부 영상을 이용하여 프로젝션하고자 하는 영상의 포커싱을 제어한다(단계414). 여기에서, 촬상되는 외부 영상의 입력과 프로젝션하고자 하는 영상의 투사가 동일한 광학축을 공유하기 때문에 카메라(214)를 통해 촬상되는 외부 영상에 따라 포커싱을 제어하면 스크린(212) 상에 투사되는 영상의 포커싱이 자동으로 제어된다.Thereafter, the focusing of the image to be projected is controlled by using the focused external image (step 414). Here, since the input of the captured external image and the projection of the image to be projected share the same optical axis, the focusing of the image projected on the screen 212 is controlled by controlling the focusing according to the external image captured by the camera 214. This is controlled automatically.

따라서, 프로젝터를 이용한 영상 투사를 통해 영상을 디스플레이하는 프로젝터 카메라 시스템에서 카메라 입력과 프로젝터 출력이 동일한 광학축 및 렌즈를 공유할 때, 카메라를 통해 촬상되는 외부 영상의 포커싱을 제어하여 이에 따라 프로젝션하고자 하는 영상의 포커싱을 자동으로 제어할 수 있다.Therefore, when a camera input and a projector output share the same optical axis and lens in a projector camera system displaying an image by projecting an image using a projector, the focusing of the external image captured by the camera is controlled and projected accordingly. The focusing of the image can be controlled automatically.

한편, 상술한 본 발명에서는 스크린 상에 영상을 투사하고, 스크린 상의 외부 영상을 촬상하는 것으로 하여 설명하였으나, 프로젝션 면이 변할 경우에도 카메라를 통해 촬상되는 외부 영상을 이용하여 프로젝션하고자 하는 영상의 포커싱을 제어할 수 있다.Meanwhile, in the present invention described above, the image is projected on the screen and the external image on the screen has been described. However, even when the projection plane is changed, the focusing of the image to be projected using the external image captured by the camera is performed. Can be controlled.

이상 설명한 바와 같이 본 발명은, 프로젝션 기능을 갖는 프로젝터 카메라 시스템에서 프로젝터와 카메라가 다른 각도로 프로젝션 면을 바라보기 때문에 프로젝터와 카메라 각각의 좌표 변환을 수행하는 종래 방법과는 달리, 프로젝터를 이용한 영상 투사를 통해 영상을 디스플레이하는 프로젝터 카메라 시스템에서 프로젝션하고자 하는 영상을 교번적으로 온/오프 디스플레이시키고, 교번적으로 디스플레이되는 영상을 렌즈를 통해 외부 프로젝션 측으로 투사하며, 디스플레이되는 영상이 오프일 때, 렌즈를 통해 외부 프로젝터 측으로부터 전달되는 외부 영상을 촬상하고, 촬상된 외부 영상을 이용하여 프로젝션하고자 하는 영상의 포커싱을 제어함으로써, 프로젝션 기능을 갖는 프로젝터 카메라 시스템에서 촬상 영상과 투사 영상이 동일한 광학축을 공유하기 때문에 촬상된 외부 영상을 이용하여 투사 영상의 포커싱을 효과적으로 제어할 수 있다.As described above, the present invention is different from the conventional method of performing coordinate transformation of the projector and the camera because the projector and the camera look at the projection plane at different angles in the projector camera system having the projection function. In the projector camera system displaying an image through the display, the image to be projected alternately on / off is displayed, and the alternately displayed image is projected to the external projection side through the lens, and when the displayed image is off, By capturing the external image transmitted from the external projector side and controlling the focusing of the image to be projected by using the captured external image, the captured image and the projected image are the same optical axis in the projector camera system having the projection function. By using the external video image capture because they share it it is possible to effectively control the focusing of the projected image.

따라서, 프로젝션 기능을 갖는 프로젝터 카메라 시스템에서 프로젝터와 카메라 각각의 좌표 변환을 수행하는 보정없이 프로젝션 기반의 증강현실을 구현할 수 있다. Accordingly, in the projector camera system having a projection function, projection-based augmented reality may be implemented without correction for performing coordinate transformation of the projector and the camera.

Claims (5)

삭제delete 프로젝터를 이용한 영상 투사를 통해 영상을 디스플레이하는 프로젝터 카메라 시스템으로서, A projector camera system for displaying an image by projecting an image using a projector, 기 설정된 주기로 온/오프되는 조사광에 응답하여, 프로젝션하고자 하는 영상의 디스플레이를 상기 기 설정된 주기로 온/오프하는 수단과, Means for turning on / off the display of an image to be projected at the predetermined period in response to the irradiation light turned on / off at a predetermined period; 상기 디스플레이 온된 영상을 렌즈를 통해 외부 프로젝션 측으로 투사하는 수단과, Means for projecting the displayed image onto an external projection side through a lens; 상기 조사광이 오프일 때, 상기 렌즈를 통해 상기 외부 프로젝션 측으로부터 전달되는 외부 영상을 임의의 각도로 굴절시켜 상기 카메라 수단으로 유도하는 영상 경로 굴절 수단과,An image path refraction means for refraction of an external image transmitted from the external projection side through the lens to an arbitrary angle when the irradiation light is off; 상기 영상 경로 굴절 수단으로부터 유도된 외부영상을 촬상하는 카메라 수단과, Camera means for capturing an external image derived from the image path refraction means; 상기 촬상된 외부 영상을 이용하여 상기 프로젝션하고자 하는 영상의 포커싱을 제어하는 수단 Means for controlling focusing of the image to be projected using the captured external image 을 포함하는 증강 현실 구현을 위한 프로젝터 카메라 시스템.Projector camera system for augmented reality implementation comprising a. 프로젝터를 이용한 영상 투사를 통해 영상을 디스플레이하는 프로젝터 카메라 시스템으로서, A projector camera system for displaying an image by projecting an image using a projector, 기 설정된 주기로 온/오프되는 조사광에 응답하여, 프로젝션하고자 하는 영상의 디스플레이를 상기 기 설정된 주기로 온/오프하는 수단과, Means for turning on / off the display of an image to be projected at the predetermined period in response to the irradiation light turned on / off at a predetermined period; 상기 디스플레이 온된 영상을 렌즈를 통해 외부 프로젝션 측으로 투사하는 수단과, Means for projecting the displayed image onto an external projection side through a lens; 상기 조사광이 오프일 때, 상기 렌즈를 통해 상기 외부 프로젝션 측으로부터 전달되는 외부 영상을 임의의 각도로 굴절시켜 상기 카메라 수단으로 유도하는 광학 빔 스플리터와,An optical beam splitter for refracting an external image transmitted from the external projection side through the lens at an arbitrary angle when the irradiation light is off; 상기 광학 빔 스플리터로부터 유도된 외부영상을 촬상하는 카메라 수단과, Camera means for capturing an external image derived from the optical beam splitter; 상기 촬상된 외부 영상을 이용하여 상기 프로젝션하고자 하는 영상의 포커싱을 제어하는 수단Means for controlling focusing of the image to be projected using the captured external image 을 포함하는 증강 현실 구현을 위한 프로젝터 카메라 시스템.Projector camera system for augmented reality implementation comprising a. 프로젝터를 이용한 영상 투사를 통해 영상을 디스플레이하는 프로젝터 카메라 시스템으로서, A projector camera system for displaying an image by projecting an image using a projector, 기 설정된 주기로 온/오프되는 조사광에 응답하여, 프로젝션하고자 하는 영상의 디스플레이를 상기 기 설정된 주기로 온/오프하는 수단과, Means for turning on / off the display of an image to be projected at the predetermined period in response to the irradiation light turned on / off at a predetermined period; 상기 디스플레이 온 된 영상을 렌즈를 통해 외부 프로젝션 측으로 투사하는 수단과, Means for projecting the displayed image onto an external projection side through a lens; 상기 조사광이 오프일 때, 상기 렌즈를 통해 상기 외부 프로젝션 측으로부터 전달되는 외부 영상을 임의의 각도로 굴절시켜 상기 카메라 수단으로 유도하는 영상 경로 굴절 수단과,An image path refraction means for refraction of an external image transmitted from the external projection side through the lens to an arbitrary angle when the irradiation light is off; 상기 영상 경로 굴절 수단으로부터 유도된 외부영상을 촬상하는 카메라 수단과, Camera means for capturing an external image derived from the image path refraction means; 상기 촬상된 외부 영상을 이용하여 상기 프로젝션하고자 하는 영상의 포커싱을 제어하는 수단 Means for controlling focusing of the image to be projected using the captured external image 을 포함하며,Including; 상기 프로젝션하고자 하는 영상이 투사되는 광학축과 상기 외부 영상이 전달되는 광학축은, 동일한 광학축으로서, 투사되는 영상의 좌표와 카메라를 통해 촬상된 영상의 좌표가 일치하는 것을 특징으로 하는 증강 현실 구현을 위한 프로젝터 카메라 시스템.The optical axis to which the image to be projected is projected and the optical axis to which the external image is transmitted are the same optical axis, and the coordinates of the projected image and the image captured by the camera coincide with each other. Projector Camera System. 삭제delete
KR1020050013973A 2005-02-21 2005-02-21 Projector-camera system and focusing method for augmented reality environment KR100686525B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050013973A KR100686525B1 (en) 2005-02-21 2005-02-21 Projector-camera system and focusing method for augmented reality environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050013973A KR100686525B1 (en) 2005-02-21 2005-02-21 Projector-camera system and focusing method for augmented reality environment

Publications (2)

Publication Number Publication Date
KR20050029172A KR20050029172A (en) 2005-03-24
KR100686525B1 true KR100686525B1 (en) 2007-02-26

Family

ID=37385868

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050013973A KR100686525B1 (en) 2005-02-21 2005-02-21 Projector-camera system and focusing method for augmented reality environment

Country Status (1)

Country Link
KR (1) KR100686525B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016144005A1 (en) * 2015-03-09 2016-09-15 국립암센터 Augmented reality image projection system

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101832346B1 (en) 2011-12-22 2018-04-13 한국전자통신연구원 Device and method foruser interaction
KR102175519B1 (en) 2015-08-19 2020-11-06 한국전자통신연구원 Apparatus for providing virtual contents to augment usability of real object and method using the same
JP7371627B2 (en) * 2018-07-20 2023-10-31 ソニーグループ株式会社 Image display device and image display method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060077251A (en) * 2004-12-30 2006-07-05 이익주 The two-way interactive display aparatus using optical fiber

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060077251A (en) * 2004-12-30 2006-07-05 이익주 The two-way interactive display aparatus using optical fiber

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
1020060077251 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016144005A1 (en) * 2015-03-09 2016-09-15 국립암센터 Augmented reality image projection system
KR101734094B1 (en) 2015-03-09 2017-05-11 국립암센터 Augmented Reality Image Projection System
US10575920B2 (en) 2015-03-09 2020-03-03 National Cancer Center Augmented reality image projection system

Also Published As

Publication number Publication date
KR20050029172A (en) 2005-03-24

Similar Documents

Publication Publication Date Title
US11172158B2 (en) System and method for augmented video production workflow
JP2008245055A (en) Image display device, photographing device, and image display method
JP2004117490A (en) Autofocus system
JP2018129659A (en) Image processing device, imaging device, and control method
KR100686525B1 (en) Projector-camera system and focusing method for augmented reality environment
JP2021039167A (en) Image processor and method for controlling image processor
JP5618587B2 (en) Imaging device, image display device, and image display system
JP2015145894A (en) Projection type display device
JP2013162420A (en) Camera
JP2005017336A (en) Projector having projection surface distance measuring device
JP2019022026A (en) Imaging apparatus
JP2015141364A (en) Projection device
TWI431397B (en) Optical system and electrical device having the optical system
JP2012053227A (en) Projection type video display device
JP2005175796A (en) Digital camera
CA2955973C (en) Orientation system for image recording devices
JP5803129B2 (en) camera
JPH05328197A (en) Image pickup device
JP2017055266A (en) Imaging device and control method, program therefor, and storage medium
JP2012027302A (en) Imaging apparatus with projection function
JPH04123030A (en) Projection type liquid crystal display device
KR101438810B1 (en) Apparatus and method for automatic correcting image of beam projector
JP6115603B2 (en) camera
JP2008216632A (en) Projection type display device
JP4891132B2 (en) Imaging device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20120111

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee