KR100584536B1 - Image processing apparatus for image communication - Google Patents
Image processing apparatus for image communication Download PDFInfo
- Publication number
- KR100584536B1 KR100584536B1 KR1019990041768A KR19990041768A KR100584536B1 KR 100584536 B1 KR100584536 B1 KR 100584536B1 KR 1019990041768 A KR1019990041768 A KR 1019990041768A KR 19990041768 A KR19990041768 A KR 19990041768A KR 100584536 B1 KR100584536 B1 KR 100584536B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- virtual camera
- distance
- cameras
- generated
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
화상 통신 분야에 있어서 2대의 카메라를 이용하여 상대방을 마주보고 통신을 하는 효과를 발생하는 장치에 관한 것이다.The present invention relates to an apparatus for generating an effect of communicating by facing each other using two cameras in the field of video communication.
소정의 거리(D)를 두고 이격된 두 개의 카메라에서 발생된 영상들(image1, image2)로부터 두 개의 카메라 중앙에 위치한 가상 카메라에서 촬상된 영상(image3)을 발생하는 장치에 있어서, 상기 두 대의 카메라에서 발생한 영상들(image1, image2)에서 상기 가상 카메라에 의해 촬상된 영상(image3)의 어떤 점에 대응되는 점들을 찾는 대응점 추출부; 상기 가상 카메라로부터 피사체까지의 거리(Z)를 구하는 거리 정보 추출부; 상기 거리 정보 추출부에서 얻어진 피사체까지의 거리(Z)에 근거하여 상기 가상 카메라에 의해 발생된 영상을 매핑하는 3차원 매핑부; 및 상기 3차원 매핑부에서 발생된 매핑 정보로부터 2차원 영상 정보 즉, 가상 카메라에 의해 실제로 촬상되는 부분의 정보를 발생하며, 2차원 영상(image3)을 구성하는 각 점들에 대한 휘도 신호 및 칼라 신호는 상기 대응점 추출부에서 추출한 대응점들의 휘도 신호들 및 칼라 신호들을 보간함에 의해 얻는 2차원 영상 복원부를 포함하는 것을 특징으로 한다.An apparatus for generating an image (image3) captured by a virtual camera located in the center of the two cameras from the images (image1, image2) generated from two cameras spaced apart by a predetermined distance (D), the two cameras A corresponding point extracting unit for finding points corresponding to a certain point of the image image3 captured by the virtual camera in images generated from the image1 and image2; A distance information extracting unit for obtaining a distance Z from the virtual camera to a subject; A three-dimensional mapping unit for mapping an image generated by the virtual camera based on a distance Z to a subject obtained by the distance information extracting unit; And two-dimensional image information, that is, information of a portion actually captured by the virtual camera, from the mapping information generated by the three-dimensional mapping unit, and the luminance signal and the color signal for each point constituting the two-dimensional image 3. And a 2D image reconstructing unit obtained by interpolating the luminance signals and the color signals of the corresponding points extracted by the corresponding point extracting unit.
본 발명에 따른 화상 처리 장치는 입체 영상 처리 기법을 응용하여 작업자가 마치 상대방을 바라보면서 작업하는 효과를 발생할 수 있다.The image processing apparatus according to the present invention may have an effect of working by looking at the other party by applying a stereoscopic image processing technique.
Description
도 1은 본 발명에 따른 영상 처리 장치를 장착한 예를 보이는 것으로서 모니터 주변에 장착된 카메라들의 위치 및 피사체의 관계를 보이는 것이다. 1 shows an example in which an image processing apparatus according to the present invention is mounted, and shows a relationship between a position of a camera mounted around a monitor and a subject.
도 2는 본 발명에 따른 화상 처리 장치의 구성을 보이는 블록도이다. 2 is a block diagram showing the configuration of an image processing apparatus according to the present invention.
도 3은 도 2에 도시된 대응점 추출부의 동작을 개념적으로 보이기 위해 도시된 것이다. FIG. 3 is a diagram for conceptually illustrating an operation of the corresponding point extracting unit illustrated in FIG. 2.
본 발명은 화상 처리 장치에 관한 것으로서 특히 화상 통신 분야에 있어서 2대의 카메라를 이용하여 상대방을 마주보고 통신을 하는 효과를 발생하는 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus, and more particularly, to an apparatus for generating an effect of communicating with each other using two cameras in an image communication field.
화상 통신은 서로 상대방의 화상을 보면서 통화하는 것으로서, 컴퓨터를 이용한 화상 채팅, 화상 전화기 등으로 구현된다.Video communication is a video call of a counterpart while viewing each other's video, and is implemented as a video chat using a computer, a video telephone, or the like.
그런데, 와상 전화기를 이용한 화상 통신에 있어서 상대방에게 제대로 대화를 하는 것을 보이기 위해서 통화자는 항상 카메라를 향하여 시선을 고정시켜야 한 다는 부담이 있다. 이러한 부담은 화상 채팅에 있어서 가중된다. 화상 통신에서 채팅자는 모니터에 표시되는 내용을 보면서 대화하거나 글을 쓰게 된다. 따라서, 모니터 주변에 설치된 카메라를 향하여 시선을 주고 이로 인하여 서로가 불편을 느끼게 된다.However, in the video communication using the eddy telephone, there is a burden that the caller must always fix the gaze toward the camera in order to show that the other party can talk properly. This burden is exacerbated in video chatting. In a video communication, a chatter talks or writes while looking at what is displayed on the monitor. Therefore, the eyes are directed toward the camera installed around the monitor, which causes each other to feel uncomfortable.
본 발명은 상기의 문제점을 해결하기 위하여 안출된 것으로서 사용자가 카메라에 시선을 주고 있지 않더라도 마치 카메라를 향하여 시선을 주고 있는 효과를 내는 가상 카메라를 구현하는 화상 처리 장치를 제공하는 것을 그 목적으로 한다.An object of the present invention is to provide an image processing apparatus that implements a virtual camera having an effect of giving a gaze toward a camera even if a user does not gaze at a camera.
상기의 목적을 달성하는 본 발명에 따른 화상 처리 장치는The image processing apparatus according to the present invention for achieving the above object
소정의 거리(D)를 두고 이격된 두 개의 카메라에서 발생된 영상들(image1, image2)로부터 두 개의 카메라 중앙에 위치한 가상 카메라에서 촬상된 영상(image3)을 발생하는 장치에 있어서,In the apparatus for generating an image (image3) captured by the virtual camera located in the center of the two cameras from the images (image1, image2) generated from two cameras spaced apart by a predetermined distance (D),
상기 두 대의 카메라에서 발생한 영상들(image1, image2)에서 상기 가상 카메라에 의해 촬상된 영상(image3)의 어떤 점에 대응되는 점들을 찾는 대응점 추출부;A corresponding point extracting unit for finding points corresponding to a certain point of the image image3 captured by the virtual camera in the images image1 and image2 generated by the two cameras;
상기 가상 카메라로부터 피사체까지의 거리(Z)를 구하는 거리 정보 추출부;A distance information extracting unit for obtaining a distance Z from the virtual camera to a subject;
상기 거리 정보 추출부에서 얻어진 피사체까지의 거리(Z)에 근거하여 상기 가상 카메라에 의해 발생된 영상을 매핑하는 3차원 매핑부; 및A three-dimensional mapping unit for mapping an image generated by the virtual camera based on a distance Z to a subject obtained by the distance information extracting unit; And
상기 3차원 매핑부에서 발생된 매핑 정보로부터 2차원 영상 정보 즉, 가상 카메라에 의해 실제로 촬상되는 부분의 정보를 발생하며, 2차원 영상(image3)을 구성하는 각 점들에 대한 휘도 신호 및 칼라 신호는 상기 대응점 추출부에서 추출한 대응점들의 휘도 신호들 및 칼라 신호들을 보간함에 의해 얻는 2차원 영상 복원부를 포함하는 것을 특징으로 한다.Two-dimensional image information, that is, information of a portion actually captured by the virtual camera, is generated from the mapping information generated by the three-dimensional mapping unit, and the luminance signal and the color signal for each point constituting the two-dimensional image 3 are And a 2D image reconstructing unit obtained by interpolating luminance signals and color signals of the corresponding points extracted by the corresponding point extracting unit.
이하 첨부된 도면을 참조하여 본 발명의 구성 및 동작을 상세히 설명한다.Hereinafter, the configuration and operation of the present invention will be described in detail with reference to the accompanying drawings.
본 발명의 장치는 두 대의 카메라에서 피사체를 촬상하여 발생된 영상 신호를 적절히 합성하여 마치 두 대의 카메라 사이에 있는 가상의 카메라에서 피사체를 촬상한 영상 신호를 발생한다.The apparatus of the present invention generates an image signal obtained by capturing a subject from a virtual camera between two cameras by properly synthesizing an image signal generated by photographing a subject from two cameras.
도 1은 본 발명에 따른 영상 처리 장치를 장착한 예를 보이는 것으로서 모니터 주변에 장착된 카메라들의 위치 및 피사체의 관계를 보이는 것이다. 도 1에 있어서 모니터(102)의 좌우에 두 대의 카메라(104, 106)이 설치되어 있다. 작업자는 모니터(102) 앞에 있다.1 shows an example in which an image processing apparatus according to the present invention is mounted, and shows a relationship between a position of a camera mounted around a monitor and a subject. In FIG. 1, two
두 대의 카메라(104, 106)이 설치된 높이는 작업자의 눈높이이고, 두 대의 카메라(104, 106)의 사이 즉, 모니터(102)의 중앙에는 가상의 카메라(108)이 설치된 것으로 가정한다.It is assumed that the height at which the two
본 발명의 장치는 모니터(102) 좌우에 설치된 두 대의 카메라(104, 106)에서 작업자를 촬상한 영상 신호에서 모니터(102) 중앙, 작업자의 눈높이에 설치된 가상 카메라(108)에서 촬상한 영상 신호를 발생케 한다. 따라서, 가상의 카메라(108)에서 발생된 영상 신호는 모니터를 보는 작업자를 정면에서 촬상한 것이 된다.The apparatus of the present invention displays the image signal captured by the
이를 위해서는 가상 카메라(108)에서 촬상한 영상 신호와 두 대의 카메라(104, 106)에서 촬상한 영상 신호들 사이의 대응 관계 및 피사체의 휘도/칼라값을 구해야 한다. For this purpose, the correspondence between the image signals captured by the
도 2는 본 발명에 따른 화상 처리 장치의 구성을 보이는 블록도이다. 도 2에 도시된 장치는 대응점 추출부(202), 거리 정보 추출부(204), 3차원 매핑부(206), 2차원 영상 복원부(208)를 구비한다.2 is a block diagram showing the configuration of an image processing apparatus according to the present invention. The apparatus shown in FIG. 2 includes a
대응점 추출부(202)는 입력된 투시점 정보를 참조하여 가상 카메라(108)에서 발생한 영상과 두 대의 카메라(104, 106)에서 발생한 영상(image1, image2)의 대응점을 추출한다. 즉, 두 대의 카메라(104, 106)에서 발생한 영상들(image1, image2)에서 가상 카메라(108)에 의해 촬상된 어떤 점에 대응되는 점들을 찾는다.The
도 3은 도 2에 도시된 대응점 추출부의 동작을 개념적으로 보이기 위해 도시된 것이다. 도 3의 (a)에 도시된 것은 도 1의 좌측 카메라(102)에 의해 촬상된 영상(image1)을 보이는 화면이고, 도 3의 (b)에 도시된 것은 도 1의 우측 카메라(104)에 의해 촬상된 영상(image2)을 보이는 화면이고, 도 3의 (c)에 도시된 것은 가상 카메라(106)에 의해 촬상된 영상(image3)을 보이는 화면이고, 피사체는 점으로 표현된다.FIG. 3 is a diagram for conceptually illustrating an operation of the corresponding point extracting unit illustrated in FIG. 2. 3A is a screen showing an image image1 captured by the left camera 102 of FIG. 1, and FIG. 3B is a screen showing the
도 3의 (a)에서 피사체의 좌표를 (x1, y1)이라 하고, 도 3의 (b)에서 피사체의 좌표를 (x2, y2)이라 하고, 두 개의 카메라(104, 106)이 같은 높이(y1=y2=y)라고 가정하면, 도 3의 (c)에서 피사체의 좌표는 (x,y)가 된다.In FIG. 3A, the coordinates of the subject are referred to as (x1, y1), and in FIG. 3B, the coordinates of the subject are referred to as (x2, y2), and the two
여기서, x는 (x1 + x2)/2이다.Where x is (x1 + x2) / 2.
따라서, 도 3의 (c)에 도시된 피사체(x,y)의 휘도/칼라 정보를 얻기 위해서 는 도 3의 (a)에서 (x1, y)에서의 휘도/칼라 정보와 도 3의 (b)에서의 (x2, y)에서의 휘도/칼라 정보가 필요하다는 대응관계가 성립한다.Therefore, in order to obtain the luminance / color information of the subject (x, y) shown in FIG. 3C, the luminance / color information of (x1, y) in FIG. 3A and FIG. Correspondence that luminance / color information at (x2, y) is required.
대응점 추출부(202)는 가상 카메라(108)에 의해 촬상되는 피사체를 구성하는 모든 점들에 대하여 대응 관계를 추출한다.The
거리 정보 추출부(204)는 삼각 측량에 의해 가상 카메라(108)로부터 피사체까지의 거리를 구한다. 이는 입체 카메라 분야에서 잘 알려진 바와 같은 하기의 식에 의해 구해진다.The distance
두 카메라(102, 104)의 초점 거리들(f1, f2)가 동일하고(f1 = f2 = f), 높이가 같다고 가정하면(y1=y2=y), Assuming that the focal lengths f1 and f2 of the two
- - - (1) - - - (One)
이고, ego,
이로부터From this
- - - (2) - - - (2)
를 얻고, Gained,
이를 다시 (1)에 대입하면Substituting this back into (1)
를 얻는다. Get
여기서, Z는 가상 카메라(108)로부터 피사체까지의 거리이고, D는 두 카메라 사이의 거리이고, X는 가상카메라에서 본 x축 좌표이다.Where Z is the distance from the
거리 정보 추출부(204)는 피사체를 구성하는 모든 점들에 대하여 거리 정보를 산출한다.The distance
3차원 매핑부(206)는 (2)식을 이용하여 얻는 피사체까지의 거리 정보에 근거하여 가상 카메라(108)에 의해 발생된 영상 정보를 3차원으로 매핑한다. 여기서 문제가 되는 것은 두 카메라(104, 106)중의 어느 하나에 의해 피사체가 촬상되지 않을 경우에 어떻게 3차원 매핑을 수행할 것인가 하는 것이다. 두 카메라(104, 106)중의 어느 하나에서 피사체가 촬상되지 않는 경우는 소위 충돌 문제(occulusion problen)이라는 입체 영상의 전통적인 문제로서 이는 특히 물체까지의 거리 Z보다 카메라들(104, 106)간의 거리 D가 클 경우 더욱 심화된다.The three-
일반적으로 저레벨 영상 처리에서는 처리가 불가하고, 고레벨 영상 인식, 이해의 레벨에서 새로운 모델들을 설정한 후 매핑하는 것에 의해 처리한다. 특히, 사람의 두상등은 기존에 설정된 가정을 이용하는 전략(strategy)를 사용한다.In general, processing is not possible in low level image processing, and processing is performed by setting and mapping new models at the level of high level image recognition and understanding. In particular, the head of a person uses a strategy that uses existing assumptions.
본 발명의 실시예에 있어서는 두 카메라(104, 106)사이의 거리 D와 피사체 까지의 거리 Z가 같거나 D<Z인 관계가 되므로 충돌 문제는 그다지 심각하지 않다. 이러한 문제는 카메라의 화각이 ??은 것을 사용하면 어느 정도 커버되고, 보다 저레벨의 처리 수준에서는 단순히 한 카메라에 의해 발생된 영상만을 채택해도 좋다.In the embodiment of the present invention, since the distance D between the two
2차원 영상 복원부(208)는 3차원 매핑부(206)에서 발생된 3차원 매핑 정보로부터 2차원 영상 정보 즉, 가상 카메라(108)에 의해 실제로 촬상되는 부분의 정보를 발생한다.The
2차원 영상 정보를 발생함에 있어서 피사체를 구성하는 각 점들에 대한 휘도 신호 및 칼라 신호는 대응점 추출부(202)에서 추출한 대응점들의 휘도 신호들 및 칼라 신호들을 보간함에 의해 얻는다.In generating the two-dimensional image information, the luminance signal and the color signal for each point constituting the subject are obtained by interpolating the luminance signals and the color signals of the corresponding points extracted by the
상술한 바와 같이 본 발명에 따른 화상 처리 장치는 입체 영상 처리 기법을 응용하여 작업자가 마치 상대방을 바라보면서 작업하는 효과를 발생할 수 있다.As described above, the image processing apparatus according to the present invention may have an effect of working by looking at the other party by applying a stereoscopic image processing technique.
Claims (2)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019990041768A KR100584536B1 (en) | 1999-09-29 | 1999-09-29 | Image processing apparatus for image communication |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019990041768A KR100584536B1 (en) | 1999-09-29 | 1999-09-29 | Image processing apparatus for image communication |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20010029129A KR20010029129A (en) | 2001-04-06 |
KR100584536B1 true KR100584536B1 (en) | 2006-05-30 |
Family
ID=19613221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019990041768A KR100584536B1 (en) | 1999-09-29 | 1999-09-29 | Image processing apparatus for image communication |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100584536B1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101233351B1 (en) * | 2011-04-19 | 2013-02-14 | 전자부품연구원 | digital hologram visualization apparatus and method |
KR101515404B1 (en) * | 2014-06-11 | 2015-05-04 | 주식회사 리버스톤미디어 | Method and apparatus for controlling of virtual camera |
KR101479901B1 (en) * | 2014-06-11 | 2015-01-08 | 주식회사 리버스톤미디어 | Method and apparatus for controlling of virtual camera |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08147497A (en) * | 1994-11-25 | 1996-06-07 | Canon Inc | Picture processing method and device therefor |
JPH08201941A (en) * | 1995-01-12 | 1996-08-09 | Texas Instr Inc <Ti> | Three-dimensional image formation |
JPH08263696A (en) * | 1995-03-01 | 1996-10-11 | Meidensha Corp | Three-dimensional object model generating method |
JPH1137721A (en) * | 1997-07-22 | 1999-02-12 | Atr Ningen Joho Tsushin Kenkyusho:Kk | Method for linearly estimating three-dimensional position by affine camera correction |
KR19990057669A (en) * | 1997-12-30 | 1999-07-15 | 윤종용 | Apparatus and method for three-dimensional image conversion of two-dimensional continuous image using virtual stereo image |
-
1999
- 1999-09-29 KR KR1019990041768A patent/KR100584536B1/en not_active IP Right Cessation
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08147497A (en) * | 1994-11-25 | 1996-06-07 | Canon Inc | Picture processing method and device therefor |
JPH08201941A (en) * | 1995-01-12 | 1996-08-09 | Texas Instr Inc <Ti> | Three-dimensional image formation |
JPH08263696A (en) * | 1995-03-01 | 1996-10-11 | Meidensha Corp | Three-dimensional object model generating method |
JPH1137721A (en) * | 1997-07-22 | 1999-02-12 | Atr Ningen Joho Tsushin Kenkyusho:Kk | Method for linearly estimating three-dimensional position by affine camera correction |
KR19990057669A (en) * | 1997-12-30 | 1999-07-15 | 윤종용 | Apparatus and method for three-dimensional image conversion of two-dimensional continuous image using virtual stereo image |
Also Published As
Publication number | Publication date |
---|---|
KR20010029129A (en) | 2001-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7051457B2 (en) | Image processing equipment, image processing methods, and programs | |
US11887234B2 (en) | Avatar display device, avatar generating device, and program | |
JP6548518B2 (en) | INFORMATION PROCESSING APPARATUS AND INFORMATION PROCESSING METHOD | |
CN110574075B (en) | Apparatus, system, method, and storage medium for generating virtual viewpoint image | |
US7825948B2 (en) | 3D video conferencing | |
JP5887267B2 (en) | 3D image interpolation apparatus, 3D imaging apparatus, and 3D image interpolation method | |
JP7062506B2 (en) | Image processing equipment, image processing methods, and programs | |
JP5762600B1 (en) | Information processing apparatus and information processing method | |
TWI701941B (en) | Method, apparatus and electronic device for image processing and storage medium thereof | |
JP2000354257A (en) | Image processor, image processing method and program provision medium | |
JP2008535116A (en) | Method and apparatus for three-dimensional rendering | |
JPH07287761A (en) | Device and method for processing picture | |
KR20160094190A (en) | Apparatus and method for tracking an eye-gaze | |
JP2006067521A (en) | Image processor, image processing method, image pickup device, and image pickup method | |
JP2019083402A (en) | Image processing apparatus, image processing system, image processing method, and program | |
TWI788739B (en) | 3D display device, 3D image display method | |
KR100584536B1 (en) | Image processing apparatus for image communication | |
JPH09305796A (en) | Image information processor | |
JP2012105172A (en) | Image generation device, image generation method, computer program, and record medium | |
JP2019144958A (en) | Image processing device, image processing method, and program | |
JP5509986B2 (en) | Image processing apparatus, image processing system, and image processing program | |
CN113781560A (en) | Method and device for determining viewpoint width and storage medium | |
JP5924833B2 (en) | Image processing apparatus, image processing method, image processing program, and imaging apparatus | |
CN113763472A (en) | Method and device for determining viewpoint width and storage medium | |
JP2022037337A (en) | Three-dimensional measurement device, three-dimensional measurement system, and three-dimensional measurement method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |