KR101611427B1 - Image processing method and apparatus performing the same - Google Patents

Image processing method and apparatus performing the same Download PDF

Info

Publication number
KR101611427B1
KR101611427B1 KR1020140190266A KR20140190266A KR101611427B1 KR 101611427 B1 KR101611427 B1 KR 101611427B1 KR 1020140190266 A KR1020140190266 A KR 1020140190266A KR 20140190266 A KR20140190266 A KR 20140190266A KR 101611427 B1 KR101611427 B1 KR 101611427B1
Authority
KR
South Korea
Prior art keywords
image
modeling
image processing
work
processing unit
Prior art date
Application number
KR1020140190266A
Other languages
Korean (ko)
Inventor
김영욱
전세웅
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020140190266A priority Critical patent/KR101611427B1/en
Application granted granted Critical
Publication of KR101611427B1 publication Critical patent/KR101611427B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

An image processing apparatus comprises: a three-dimensional camera unit, a panorama camera unit and an image process unit. The three-dimensional camera unit is arranged in an operation direction of an operation tool and photographs a target object. The panorama camera unit photographs a plurality of overlapping background areas, wherein some of the background areas include at least one part of the target object. The image process unit composes background images to be a panoramic image, generates a modeling image with respect to the photographed target object, and matches the panorama image and the modeling image to generate a work image. The image processing apparatus matches the model image with the panorama image and can provide a visual guidance capable of separately controlling the modeling image.

Description

영상 처리 방법 및 이를 수행하는 영상 처리 장치 {IMAGE PROCESSING METHOD AND APPARATUS PERFORMING THE SAME}TECHNICAL FIELD [0001] The present invention relates to an image processing method,

본 발명은 영상 처리 기술에 관한 것으로, 보다 상세하게는, 복수의 배경 영역들을 합성한 파노라마 영상 및 작업 대상에 대한 모델링 영상을 정합하는 영상 처리 방법 및 이를 수행하는 장치에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing technique, and more particularly, to an image processing method for matching a panorama image synthesized with a plurality of background areas and a modeling image for a work object, and an apparatus performing the same.

입체 영상 표시 장치는 적어도 두 개의 카메라 또는 센서를 사용하여 입체 영상을 생성할 수 있다. 입체 영상 표시 장치는 적어도 두 개의 카메라 또는 센서를 사용하여 좌안 및 우안 영상들을 획득하고, 이들을 인코딩하여 컨텐츠 파일을 생성할 수 있다.The stereoscopic image display device can generate a stereoscopic image using at least two cameras or sensors. The stereoscopic image display device can acquire left and right eye images using at least two cameras or sensors, and can generate a content file by encoding them.

입체 영상은 깊이 및 공간에 대한 형상 정보를 동시에 제공하는 3차원 영상에 해당할 수 있다. 입체 영상 표시 장치는 컬러 영상 및 다양한 시점의 깊이 영상들을 부호화 및 복호화하여 임의 시점에 대응하는 입체 영상을 생성할 수 있다.The stereoscopic image may correspond to a three-dimensional image simultaneously providing shape information on depth and space. The stereoscopic image display apparatus can generate a stereoscopic image corresponding to a certain time by encoding and decoding color images and depth images at various viewpoints.

종래의 입체 영상 표시 장치는 입체 카메라가 촬상한 영상을 제공할 수 있으나, 주변 환경에 대한 정보를 충분히 제공하지 못하는 문제점이 존재한다. 즉, 입체 카메라 또는 센서를 통한 입체 영상이 제공되는 경우, 입체 카메라 또는 센서의 범위가 미치지 않는 지역에 대한 영상이 제공되지 않는 문제점이 존재한다.Conventional stereoscopic image display apparatuses can provide an image captured by a stereoscopic camera, but there is a problem that information on the surrounding environment can not be sufficiently provided. That is, when a stereoscopic camera or a stereoscopic image through a sensor is provided, there is a problem that an image is not provided for a stereoscopic camera or an area where the range of the sensor is not provided.

한국공개특허 제2011-0133677호는 3D 영상 처리 장치 및 그 방법에 관한 것으로, 하나의 카메라에 의해 촬영된 복수 개의 컬러 영상들과 복수 개의 깊이 영상들을 하나의 기준 좌표계를 기준으로 융합하여 다시점의 리얼 3차원 비디오를 생성할 수 있는 3D 영상 처리 장치 및 그 방법 에 대하여 개시한다.Korean Patent Laid-Open Publication No. 2011-0133677 relates to a 3D image processing apparatus and a method thereof. In the 3D image processing apparatus and method, a plurality of color images captured by a camera and a plurality of depth images are fused on the basis of one reference coordinate system, A 3D image processing apparatus capable of generating real three-dimensional video and a method thereof are disclosed.

한국등록특허 제1,454,333호는 실시간 전경 영상 및 배경 영상 합성 시스템에 관한 것으로, 외부 카메라로부터 수신된 카메라 영상에 대한 데이터 실시간 합성을 수행하여 적은 비용으로도 고가의 스튜디오 장비나 방송국 장비와 같은 효과를 발생하는 영상 합성 시스템에 대하여 개시한다.
Korean Patent No. 1,454,333 relates to a real-time foreground image and background image synthesis system, which performs real-time data synthesis on camera images received from an external camera, thereby achieving the same effects as expensive studio equipment and broadcasting station equipment at a low cost To a video synthesizing system.

한국공개특허 제2011-0133677호 (2011. 12. 14 공개)Korean Published Patent No. 2011-0133677 (disclosed on Dec. 14, 2011) 한국등록특허 제1,454,333호 (2014. 10. 17 등록)Korean Registered Patent No. 1,454,333 (Registered on October 17, 2014)

본 발명의 일 실시예는 복수의 배경 영역들을 합성한 파노라마 영상 및 작업 대상에 대한 모델링 영상을 정합하고자 한다.One embodiment of the present invention intends to match a panorama image obtained by synthesizing a plurality of background regions and a modeling image of a work object.

본 발명의 일 실시예는 모델링 영상을 파노라마 영상과 별도로 제어할 수 있는 비주얼 가이던스를 제공하고자 한다.One embodiment of the present invention provides a visual guidance that can control a modeling image separately from a panorama image.

본 발명의 일 실시예는 작업 영상을 확대하거나 작업 영상을 별도의 영상으로 분리하여 다시점의 입체 영상을 제공하고자 한다.
In an embodiment of the present invention, a working image is enlarged or a working image is separated into separate images to provide a stereoscopic image of a multi-point.

실시예들 중에서, 영상 처리 장치는 작업 도구의 작업 방향을 향해 배치되고 작업 대상을 촬상하는 입체 카메라부, 서로 오버랩되는 복수의 배경 영역들을 촬상하고, 상기 복수의 배경 영역들 중 일부는 상기 작업 대상의 적어도 일부를 포함하는 파노라마 카메라부 및 상기 복수의 배경 영역들을 파노라마 영상으로 합성하고 상기 촬상된 작업 대상에 대한 모델링 영상을 생성하며, 상기 파노라마 영상과 상기 모델링 영상을 정합하여 작업 영상을 생성하는 영상 처리부를 포함한다.Among the embodiments, the image processing apparatus includes a stereoscopic camera section arranged toward a working direction of a work tool and capturing an image of a work object, a plurality of background areas overlapping each other, and a part of the plurality of background areas, A panoramic camera unit including at least a part of the panoramic image and a plurality of background areas, and a panoramic camera unit that synthesizes the plurality of background areas with a panoramic image, generates a modeling image of the captured work object, Processing unit.

일 실시예에서, 상기 영상 처리부는 사용자의 제어에 따라 상기 모델링 영상을 상기 파노라마 영상과 별도로 제어할 수 있는 비주얼 가이던스(Visual Guidance)를 제공할 수 있다.In one embodiment, the image processing unit may provide a visual guidance for controlling the modeling image separately from the panorama image according to a user's control.

일 실시예에서, 상기 영상 처리부는 상기 작업 도구를 통해 작업이 가능한 경우에는 상기 작업 영상에 오버레이 객체를 표현할 수 있다.In one embodiment, the image processing unit may represent an overlay object on the work image if the work tool allows the work.

일 실시예에서, 상기 영상 처리부는 상기 작업 도구를 통해 작업이 진행 중인 경우에는 상기 작업 영상과 상기 작업 대상이 오버레이(Overlay)되지 않게 비주얼 표시자를 표현할 수 있다.In one embodiment, the image processor may represent a visual indicator such that the work image and the work object are not overlapped when the work is being performed through the work tool.

일 실시예에서, 상기 영상 처리부는 상기 모델링 영상을 확대하거나 상기 모델링 영상을 별도의 영상으로 분리하여 가상 카메라를 통한 시점 변경이 가능할 수 있다.In one embodiment, the image processing unit may enlarge the modeling image or divide the modeling image into separate images and change the viewpoint through the virtual camera.

일 실시예에서, 상기 영상 처리부는 캘리브레이션을 통해 고정 마커를 지정하고, 상기 고정 마커를 기준으로 상기 복수의 배경 영역들을 합성하여 상기 파노라마 영상을 합성할 수 있다.In one embodiment, the image processing unit may specify a fixed marker through calibration, and may synthesize the panoramic image by combining the plurality of background areas with reference to the fixed marker.

일 실시예에서, 상기 영상 처리부는 상기 작업 영상 및 상기 작업 영상의 이전 영상을 비교하여 변화율을 검출하고, 상기 변화율이 임계값 이상이면 상기 파노라마 영상을 갱신할 수 있다.In one embodiment, the image processing unit may compare the operation image and the previous image of the operation image to detect a change rate, and update the panorama image if the change rate is equal to or greater than a threshold value.

실시예들 중에서, 작업 도구의 작업 방향을 향해 배치된 입체 카메라를 통해 작업 대상을 촬상하는 단계, 서로 오버랩되는 복수의 배경 영역들을 촬상하고, 상기 복수의 배경 영역들 중 일부는 상기 작업 대상의 적어도 일부를 포함하도록 촬상하는 단계 및 상기 복수의 배경 영역들을 파노라마 영상으로 합성하고 상기 촬상된 작업 대상에 대한 모델링 영상을 생성하며, 상기 파노라마 영상과 상기 모델링 영상을 정합하여 작업 영상을 생성하는 단계를 포함한다.
The image processing method according to any one of the preceding claims, further comprising the steps of: capturing an image of a work object through a stereoscopic camera arranged toward a working direction of a work tool; capturing a plurality of background areas overlapping each other; And combining the plurality of background areas with the panoramic image, generating a modeling image for the captured work object, and matching the panoramic image and the modeling image to generate a working image do.

본 발명의 일 실시예에 따른 영상 처리 장치는 복수의 배경 영역들을 합성한 파노라마 영상 및 작업 대상에 대한 모델링 영상을 정합할 수 있다.The image processing apparatus according to an embodiment of the present invention can match a panorama image synthesized with a plurality of background regions and a modeling image of a work object.

본 발명의 일 실시예에 따른 영상 처리 장치는 모델링 영상을 파노라마 영상과 별도로 제어할 수 있는 비주얼 가이던스를 제공할 수 있다.The image processing apparatus according to an embodiment of the present invention can provide a visual guidance that can control the modeling image separately from the panorama image.

본 발명의 일 실시예에 따른 영상 처리 장치는 작업 영상을 확대하거나 작업 영상을 별도의 영상으로 분리하여 다시점의 입체 영상을 제공할 수 있다.
The image processing apparatus according to an embodiment of the present invention can enlarge a working image or separate a working image into separate images to provide a stereoscopic image of a multi-point.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 설명하는 도면이다.
도 2는 도 1에 있는 영상 처리부에서 수행되는 파노라마 영상의 합성 과정을 설명하는 도면이다.
도 3은 도 1에 있는 영상 처리부에서 수행되는 파노라마 영상 및 모델링 영상의 정합 과정을 설명하는 도면이다.
도 4는 도 1에 있는 영상 처리 장치에서 수행되는 영상 처리 과정에 대한 순서도이다.1 is a view for explaining an image processing apparatus according to an embodiment of the present invention.
FIG. 2 is a view for explaining a process of composing a panorama image performed by the image processing unit shown in FIG. 1. FIG.
3 is a view for explaining a registration process of the panoramic image and the modeling image performed in the image processing unit of FIG.
4 is a flowchart illustrating an image processing process performed in the image processing apparatus of FIG.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The description of the present invention is merely an example for structural or functional explanation, and the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, the embodiments are to be construed as being variously embodied and having various forms, so that the scope of the present invention should be understood to include equivalents capable of realizing technical ideas. Also, the purpose or effect of the present invention should not be construed as limiting the scope of the present invention, since it does not mean that a specific embodiment should include all or only such effect.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in the present application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms "first "," second ", and the like are intended to distinguish one element from another, and the scope of the right should not be limited by these terms. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected to the other element, but there may be other elements in between. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that there are no other elements in between. On the other hand, other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It is to be understood that the singular " include " or "have" are to be construed as including the stated feature, number, step, operation, It is to be understood that the combination is intended to specify that it does not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (e.g., a, b, c, etc.) is used for convenience of explanation, the identification code does not describe the order of each step, Unless otherwise stated, it may occur differently from the stated order. That is, each step may occur in the same order as described, may be performed substantially concurrently, or may be performed in reverse order.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be embodied as computer-readable code on a computer-readable recording medium, and the computer-readable recording medium includes any type of recording device that stores data that can be read by a computer system . Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and also implemented in the form of a carrier wave (for example, transmission over the Internet) . In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used predefined terms should be interpreted to be consistent with the meanings in the context of the related art and can not be interpreted as having ideal or overly formal meaning unless explicitly defined in the present application.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 설명하는 도면이다.1 is a view for explaining an image processing apparatus according to an embodiment of the present invention.

도 2는 도 1에 있는 영상 처리부에서 수행되는 파노라마 영상의 합성 과정을 설명하는 도면이고, 도 3은 도 1에 있는 영상 처리부에서 수행되는 파노라마 영상 및 모델링 영상의 정합 과정을 설명하는 도면이다.FIG. 2 is a view for explaining a process of synthesizing a panoramic image performed by the image processing unit of FIG. 1, and FIG. 3 is a view for explaining a matching process of a panoramic image and a modeling image performed by the image processing unit of FIG.

도 1 내지 3을 참조하면, 영상 처리 장치(100)는 입체 카메라부(110), 파노라마 카메라부(120), 영상 처리부(130) 및 매니퓰레이션 장치(140)를 포함한다. 일 실시예에서, 영상 처리 장치(100)는 작업 로봇에 내장되어 작업 로봇이 작업을 수행하기 위한 작업 영상을 제공할 수 있으나, 반드시 이에 한정되는 것은 아니고 실시예에 따라 변경될 수 있다. 일 실시예에서, 사용자는 작업 대상에 대한 비가시권에서 작업 로봇을 원격 제어할 수 있고, 영상 처리 장치(100)를 통해 작업 현장의 환경을 직관적으로 인식하여 작업을 수행할 수 있다.1 to 3, the image processing apparatus 100 includes a stereoscopic camera unit 110, a panoramic camera unit 120, an image processing unit 130, and a manipulation apparatus 140. In one embodiment, the image processing apparatus 100 may be embedded in a work robot to provide a work image for performing a work, but the present invention is not limited thereto and may be modified according to an embodiment. In one embodiment, the user can remotely control the work robot in the invisible region of the work object, and can perform work by intuitively recognizing the environment of the work site through the image processing apparatus 100. [

입체 카메라부(110)는 작업 도구의 작업 방향을 향해 배치되고 작업 대상(10)을 촬상할 수 있다. 일 실시예에서, 입체 카메라부(110)는 영상 처리 장치(100)의 전면에 배치될 수 있고, 스테레오 카메라(Stereoscopic Camera) 또는 입체 센서를 통해 구현될 수 있다. 여기에서, 입체 카메라부(110)의 위치는 반드시 이에 한정되는 것은 아니고 실시예에 따라 변경될 수 있다. 입체 카메라부(110)는 사용자가 필요로 하는 특정 방향의 모델링 영상(320)을 촬영하기 위하여 배치될 수 있다. 입체 카메라부(110)는 초점 및 노출 양을 조절할 수 있고 시점 이동을 통해 다시점 영상을 촬상할 수 있다. 입체 카메라부(110)는 작업 대상을 촬상하여 영상 처리부(130)에 제공할 수 있다. 모델링 영상(320)은 작업 도구의 작업 방향을 향해 배치된 작업 대상(10)에 대한 입체적 영상에 해당할 수 있다.The stereoscopic camera unit 110 is disposed toward the working direction of the work tool and is capable of picking up the workpiece 10. In one embodiment, the stereoscopic camera unit 110 may be disposed on the front side of the image processing apparatus 100, and may be implemented through a stereoscopic camera or a stereoscopic sensor. Here, the position of the stereoscopic camera unit 110 is not limited to this, and may be changed according to the embodiment. The stereoscopic camera unit 110 may be disposed to photograph a modeling image 320 in a specific direction required by the user. The stereoscopic camera unit 110 can adjust the focus and exposure amount and can capture a multi-view image through a viewpoint movement. The stereoscopic camera unit 110 may capture an object of work and provide the image to the image processing unit 130. [ The modeling image 320 may correspond to a stereoscopic image of the workpiece 10 disposed toward the working direction of the work tool.

일 실시예에서, 매니퓰레이션 장치(140)는 작업 도구 또는 로봇 팔을 통해 구현될 수 있다. 매니퓰레이션 장치(140)는 구조적 요소들(예를 들어, 복수의 축선들) 및 이들을 연결하는 관절들을 포함하고, 운동학적 용장성을 가지는 다관절식 작업 도구로 구현될 수 있다. 사용자는 생성된 작업 영상을 기초로 매니퓰레이션 장치(140)를 제어하여 작업을 수행할 수 있다. 영상 처리 장치(100)는 매니퓰레이션 장치(140)에 의한 작업 대상(10)의 상태 변화를 작업 영상에 반영할 수 있다. 즉, 영상 처리부(130)는 입체 카메라부(110) 및 파노라마 카메라부(120)에 의하여 수신되는 영상 이외에 매니퓰레이션 장치(140)의 동작을 통해 작업 대상(10)의 상태 변화를 인식하여 작업 영상에 반영할 수 있다.In one embodiment, the manipulation device 140 may be implemented via a work tool or a robotic arm. Manipulation apparatus 140 includes structural elements (e.g., a plurality of axes) and joints connecting them, and may be implemented as a multitubular work tool having kinematic redundancy. The user can perform operations by controlling the manipulation apparatus 140 based on the generated work image. The image processing apparatus 100 can reflect the state change of the work subject 10 by the manipulation apparatus 140 on the work image. That is, in addition to the images received by the stereoscopic camera unit 110 and the panoramic camera unit 120, the image processing unit 130 recognizes the state change of the operation target 10 through the operation of the manipulation apparatus 140, It can be reflected on the image.

파노라마 카메라부(120)는 서로 오버랩되는 복수의 배경 영역들(210)을 촬상하고, 복수의 배경 영역들 중 일부는 작업 대상(10)의 적어도 일부를 포함할 수 있다. 파노라마 카메라부(120)는 복수의 카메라들(120a, 120b, 120c)을 포함할 수 있다. 복수의 카메라들(120a, 120b, 120c)는 각각 다른 방향을 향하여, 각각의 배경 영역들(210)을 촬상할 수 있다. 파노라마 카메라부(120)는 복수의 배경 영역들(210)을 촬상하여, 영상 처리부(130)에 제공할 수 있다. 일 실시예에서, 복수의 카메라들(120a, 120b, 120c)이 적어도 하나의 장면이나 대상을 다른 시간이나 관점에서 촬영할 경우, 복수의 배경 영역들(210)은 서로 다른 좌표계에서 촬상될 수 있다. 영상 처리부(130)는 서로 다른 좌표계에서 촬상된 각각의 배경 영역들(210)을 파노라마 영상(220)으로 합성할 수 있다.The panoramic camera unit 120 may capture a plurality of overlapping background areas 210, and some of the plurality of background areas may include at least a part of the object 10 to be operated. The panoramic camera unit 120 may include a plurality of cameras 120a, 120b, and 120c. The plurality of cameras 120a, 120b, and 120c can image respective background areas 210 toward different directions. The panoramic camera unit 120 can capture a plurality of background areas 210 and provide the captured image to the image processing unit 130. [ In one embodiment, when a plurality of cameras 120a, 120b, 120c capture at least one scene or object at different times or points of view, the plurality of background areas 210 may be captured in different coordinate systems. The image processing unit 130 may combine the background areas 210 captured in different coordinate systems into the panorama image 220.

영상 처리부(130)는 복수의 배경 영역들(210)을 파노라마 영상(220)으로 합성하고, 촬상된 작업 대상(10)에 대한 모델링 영상(320)을 생성하며, 파노라마 영상(310)과 모델링 영상(320)을 정합하여 작업 영상을 생성할 수 있다. 영상 처리부(130)는 사용자의 제어에 따라 모델링 영상(320)을 파노라마 영상(310)과 별도로 제어할 수 있는 비주얼 가이던스(Visual Guidance)를 제공할 수 있다.The image processing unit 130 synthesizes a plurality of background areas 210 with the panorama image 220 and generates a modeling image 320 for the picked up image of the object 10. The panorama image 310, (320) are matched to generate a working image. The image processing unit 130 may provide a visual guidance for controlling the modeling image 320 separately from the panorama image 310 under the control of the user.

일 실시예에서, 영상 처리부(130)는 작업 도구를 통해 작업이 가능한 경우에는 작업 영상에 오버레이 객체를 표현할 수 있다. 영상 처리부(130)는 작업 도구 및 작업 대상(10)간의 거리를 측정할 수 있다. 영상 처리부(130)는 작업 도구 및 작업 대상(10)간의 거리를 측정하여 작업 가능 여부를 판단할 수 있다. 영상 처리부(130)는 작업 대상(10)이 작업 도구의 작업 반경 내에 배치되었다고 판단할 수 있다. 즉, 영상 처리부(130)는 현재 작업이 진행 중이지는 않으나, 작업 도구의 반경 내에 작업 대상(10)이 배치되어 작업이 가능한 경우에는 작업 영상에 오버레이 객체를 표현할 수 있다. 작업 대상(10)은 오버레이 객체로 표현되어, 작업 영상으로부터 분리되어 표시될 수 있다. 예를 들어, 작업 대상(10)은 작업 영상으로부터 크기, 색 또는 테두리가 수정되어 오버레이 객체로 표현될 수 있다. 영상 처리부(130)는 작업 대상(10)의 현재 상태 또는 사용자의 조작에 의하여 오버레이 객체의 표현 방식을 변경할 수 있다. 영상 처리부(130)는 오버레이 객체를 별도로 제어할 수 있고, 사용자는 오버레이 객체를 통해 작업 대상(10)을 용이하게 특정할 수 있다.In one embodiment, the image processing unit 130 may represent an overlay object on a work image when the work can be performed through the work tool. The image processing unit 130 may measure the distance between the work tool and the workpiece 10. [ The image processing unit 130 may determine the workability by measuring the distance between the work tool and the work subject 10. The image processing unit 130 may determine that the workpiece 10 has been placed within the working radius of the work tool. That is, the image processing unit 130 can represent an overlay object on a work image if the work is not in progress, but the work can be disposed within the radius of the work tool. The work object 10 is expressed as an overlay object, and can be displayed separately from the work image. For example, the work object 10 may be represented as an overlay object by modifying the size, color, or border from the work image. The image processing unit 130 may change the presentation method of the overlay object according to the current state of the work object 10 or the operation of the user. The image processing unit 130 can separately control the overlay object, and the user can easily specify the work object 10 through the overlay object.

일 실시예에서, 영상 처리부(130)는 작업 도구를 통해 작업이 진행 중인 경우에는 작업 영상과 작업 대상(10)이 오버레이(Overlay)되지 않게 비주얼 표시자를 표현할 수 있다. 비주얼 표시자는 작업 대상(10)의 일 측에 배치되어 사용자에게 작업 대상(10)의 존재 및 위치를 표시할 수 있다. 비주얼 표시자는 사용자에게 작업 대상(10)의 형상, 상태, 위치와 같은 현재 상태를 나타낼 수 있다. 예를 들어, 비주얼 표시자는 작업 대상(10)의 현재 상태를 메시지를 통해 사용자에게 전달할 수 있다. 비주얼 표시자의 표현 방법은 기 설정된 파라미터 또는 사용자의 제어에 의하여 변경될 수 있다. 따라서, 영상 처리부(130)는 비주얼 표시자를 통해 사용자에게 왜곡되지 않은 작업 영상을 제공할 수 있고, 사용자는 원활한 작업을 수행할 수 있다.In one embodiment, the image processor 130 may represent a visual indicator so that the workpiece image and the workpiece 10 are not overlaid when an operation is being performed through the work tool. The visual indicator may be disposed on one side of the work subject 10 to display the presence and position of the work subject 10 to the user. The visual indicator may indicate to the user the current state of the object 10, such as its shape, state, and location. For example, the visual indicator may convey the current state of the work subject 10 to the user via a message. The presentation method of the visual indicator can be changed by a preset parameter or user's control. Accordingly, the image processing unit 130 can provide a non-distorted operation image to the user through the visual indicator, and the user can smoothly perform the operation.

일 실시예에서, 영상 처리부(130)는 모델링 영상(320)을 확대하거나 모델링 영상(320)을 별도의 영상으로 분리하여 가상 카메라를 통한 시점 변경이 가능할 수 있다. 보다 구체적으로, 영상 처리부(130)는 작업을 수행 중이거나, 작업을 수행하기 위하여 모델링 영상(320)을 확대할 수 있다. 영상 처리부(130)는 작업 영상으로부터 모델링 영상(320)을 별도의 영상으로 분리하여, 사용자에게 다시점의 모델링 영상(320)을 제공할 수 있다. 영상 처리부(130)는 사용자의 제어에 의하여 모델링 영상(320)의 확대 비율 또는 모델링 영상(320)의 시점을 조절할 수 있다. 또한, 영상 처리부(130)는 매니퓰레이션 장치(140)에 의한 작업 대상(10)의 상태 변경에 대응하여 모델링 영상(320)의 확대 비율 및 시점을 조절할 수 있다. 따라서, 영상 처리부(130)는 사용자에게 다시점의 모델링 영상(320)을 제공하여, 사용자는 작업 대상(10)에 대한 정보를 명확하게 인지할 수 있다.In one embodiment, the image processing unit 130 may expand the modeling image 320 or separate the modeling image 320 into separate images so that the viewpoint can be changed through the virtual camera. More specifically, the image processing unit 130 may enlarge the modeling image 320 to perform a task or perform a task. The image processing unit 130 may separate the modeling image 320 from the working image into separate images and provide the user with a modeling image 320 of a new point again. The image processing unit 130 may adjust the magnification ratio of the modeling image 320 or the viewpoint of the modeling image 320 under the control of the user. The image processing unit 130 may adjust the magnification ratio and the viewpoint of the modeling image 320 in response to the state change of the object 10 by the manipulation apparatus 140. Accordingly, the image processing unit 130 provides the user with the modeling image 320 of the point again, so that the user can clearly recognize the information about the work object 10. [

일 실시예에서, 영상 처리부(130)는 캘리브레이션(Calibration)을 통해 고정 마커를 지정하고, 고정 마커를 기준으로 복수의 배경 영역들을 합성하여 파노라마 영상을 합성할 수 있다. 보다 구체적으로, 영상 처리부(130)는 고정 마커를 지정할 수 있고, 절대 좌표계를 통해 고정 마커의 위치를 인식할 수 있다. 영상 처리부(130)는 파노라마 카메라부(120)의 촬상 위치가 변경되어도, 각각의 카메라들(120a, 120b, 120c)을 통해 획득한 복수의 배경 영역들(210)에서 고정 마커를 인식할 수 있다. 영상 처리부(130)는 인식된 고정 마커를 기준으로 복수의 배경 영역들(210)을 합성하여 파노라마 영상(220)을 생성할 수 있다. 즉, 영상 처리부(130)는 복수의 배경 영역들(210)을 합성하여 서로 오버랩되는 영역을 제거할 수 있다. 영상 처리부(130)는 고정 마커의 위치 및 방향을 기초로 작업 대상(10)의 위치 및 방향을 결정할 수 있다. 따라서, 영상 처리부(130)는 작업 대상(10)에 대한 모델링 영상(320)을 파노라마 영상(310)에 정합할 수 있다.In one embodiment, the image processing unit 130 may specify a fixed marker through calibration, and may synthesize a panoramic image by combining a plurality of background areas based on a fixed marker. More specifically, the image processing unit 130 can designate a fixed marker and recognize the position of the fixed marker through an absolute coordinate system. The image processing unit 130 can recognize the fixed markers in the plurality of background areas 210 acquired through the cameras 120a, 120b, and 120c even when the imaging positions of the panoramic camera unit 120 are changed . The image processing unit 130 may generate the panoramic image 220 by combining the plurality of background areas 210 based on the recognized fixed markers. That is, the image processor 130 may combine a plurality of background areas 210 to remove overlapping areas. The image processing unit 130 may determine the position and orientation of the workpiece 10 based on the position and orientation of the fixed marker. Accordingly, the image processing unit 130 can match the modeling image 320 with respect to the workpiece 10 to the panorama image 310.

일 실시예에서, 영상 처리부(130)는 특징 영역을 인식하고, 특징 영역의 유사도를 판단하여 복수의 배경 영역들(210)을 합성할 수 있다. 보다 구체적으로, 영상 처리부(130)는 복수의 배경 영역들(210) 중 하나에서 제1 특징 영역을 인식할 수 있다. 영상 처리부(130)는 복수의 배경 영역들(210) 중 다른 하나에서 제2 특징 영역을 인식할 수 있다. 특징 영역은 특징 글자, 특징점, 특징 형상, 특징 모양, 특징 색깔 또는 특징 도형에 해당할 수 있다. 영상 처리부(130)는 제1 및 제2 특징 영역들의 유사도를 분석할 수 있다. 영상 처리부(130) 는 특징 영역들의 유사도에 따라 정합 여부를 판단할 수 있다. 예를 들어, 제1 및 제2 특징 영역들이 “출입문의 손잡이”에 해당하고 유사도가 높다고 분석되는 경우, 영상 처리부(130)는 특징 영역을 기초로 복수의 배경 영역들(210)을 합성할 수 있다. 한편, 제1 및 제2 특징 영역들의 유사도가 낮다고 분석되는 경우, 영상 처리부(130)는 서로 유사한 특징 영역들의 존재 여부를 검색할 수 있다. 영상 처리부(130)는 분석된 유사도를 기초로 복수의 배경 영역들(210)을 합성하여 파노라마 영상(220)을 생성할 수 있다.In one embodiment, the image processing unit 130 may recognize a feature region and may synthesize a plurality of background regions 210 by determining the similarity of the feature region. More specifically, the image processing unit 130 can recognize the first feature region in one of the plurality of background regions 210. The image processing unit 130 can recognize the second feature region from the other one of the plurality of background regions 210. [ The feature region may correspond to feature character, feature point, feature feature, feature feature, feature color, or feature feature. The image processing unit 130 may analyze the similarities of the first and second characteristic regions. The image processing unit 130 may determine whether or not matching is performed according to the similarity degree of the feature regions. For example, when the first and second characteristic regions correspond to " handles of a door " and the degree of similarity is analyzed, the image processing unit 130 may synthesize a plurality of background regions 210 based on the characteristic region have. On the other hand, when it is analyzed that the degree of similarity between the first and second characteristic regions is low, the image processing unit 130 can search for the existence of similar characteristic regions. The image processing unit 130 may generate the panorama image 220 by combining the plurality of background regions 210 based on the analyzed similarity.

일 실시예에서, 영상 처리부(130)는 파노라마 영상(310)을 모델링 영상(320)의 상단에 배치하여 작업 영상을 생성할 수 있다. 예를 들어, 영상 처리 장치(100)가 매니퓰레이션 장치(140)에 의하여 작업이 진행 중이거나 작업이 가능한 경우, 파노라마 영상(310)은 입체 카메라부(110)에 의하여 촬상이 제한되는 주변 환경에 대한 영상을 제공할 수 있다. 즉, 파노라마 영상(310)은 모델링 영상(320)의 범위 밖의 주변 환경에 대한 정보를 사용자에게 제공할 수 있다. 영상 처리 장치(100)는 파노라마 영상(310) 및 모델링 영상(320)을 별도로 제어하여, 영상 처리 속도를 향상시키고 저비용으로 구현될 수 있다. 영상 처리 장치(100)는 사용자에 의하여 또는 작업 상황에 대응하여 입체 카메라부(110) 및 파노라마 카메라부(120)의 촬상 방향을 제어할 수 있고, 작업 영상의 범위는 입체 카메라부(110) 및 파노라마 카메라부(120)의 촬상 방향에 따라 제어될 수 있다.In one embodiment, the image processing unit 130 may generate a working image by arranging the panorama image 310 at the top of the modeling image 320. For example, when the image processing apparatus 100 is in the process of being operated or can be operated by the manipulation apparatus 140, the panorama image 310 may be displayed in a surrounding environment in which the image pickup is restricted by the stereoscopic camera unit 110 Can be provided. That is, the panorama image 310 can provide information about the surrounding environment outside the range of the modeling image 320 to the user. The image processing apparatus 100 may separately control the panorama image 310 and the modeling image 320 to improve the image processing speed and be implemented at a low cost. The image processing apparatus 100 can control the imaging directions of the stereoscopic camera unit 110 and the panoramic camera unit 120 by a user or in response to a work situation, And can be controlled in accordance with the imaging direction of the panoramic camera unit 120.

영상 처리부(130)는 입체 카메라부(110)에 의하여 촬상된 영상에 대한 객체의 배열, 시점, 텍스처 매핑 및 셰이딩 정보에 기초하여 모델링 영상(320)을 생성할 수 있다. 영상 처리부(130)는 입체 카메라부(110)의 내외부 파라미터를 추정하고, 추정된 파라미터를 이용하여 모델링 영상(320)의 생성을 위한 데이터를 획득할 수 있다.The image processing unit 130 may generate the modeling image 320 based on the arrangement of objects, the viewpoint, the texture mapping, and the shading information on the image captured by the stereoscopic camera unit 110. The image processing unit 130 estimates the inner and outer parameters of the stereoscopic camera unit 110 and acquires data for generating the modeling image 320 using the estimated parameters.

일 실시예에서, 영상 처리부(130)는 작업 영상 및 작업 영상의 이전 영상을 비교하여 변화율을 검출하고, 변화율이 임계값 이상이면 파노라마 영상을 갱신할 수 있다. 작업 영상은 매니퓰레이션 장치(140)에 의한 작업 대상(10)의 상태 변화에 의하여 변경될 수 있다. 예를 들어, 작업 대상(10)은 매니퓰레이션 장치(140)에 의하여 그 위치, 형상 및 상태가 변경될 수 있기 때문에, 작업 대상(10)을 포함하는 작업 영상이 변경될 수 있다. 작업 영상은 모델링 영상(320)의 시점 변화에 의하여 변경될 수 있다. 예를 들어, 모델링 영상(320)은 사용자에 의한 제어 또는 비주얼 가이던스에 의하여 시점이 변경될 수 있고, 영상 처리부(130)는 작업 대상(10)에 대하여 다시점의 작업 영상을 제공할 수 있다. 작업 영상은 영상 처리 장치(100)의 위치 변화에 의하여 변경될 수 있다. 영상 처리부(130)는 영상 처리 장치(100)의 위치 변화 정도에 따라 모델링 영상(320)만을 갱신하거나, 파노라마 영상(310) 및 모델링 영상(320) 모두를 갱신할 수 있다. 예를 들어, 영상 처리 장치(100)가 정지 상태에서 매니퓰레이션 장치(140)의 조작에 의해서만 작업을 수행하고 있는 경우 영상 처리부(130)는 파노라마 영상을 갱신하지 않는다. 한편, 영상 처리 장치(100)가 그 자신의 이동을 통해 작업 대상(10)을 이동시키는 경우 파노라마 영상을 갱신할 수 있다. 또한, 작업 영상은 입체 카메라부(110)의 촬상 방향 변화에 의하여 변경될 수 있다. 영상 처리부(130)는 작업 영상의 이전 영상을 저장하고, 이를 현재의 작업 영상과 비교할 수 있다. 영상 처리부(130)는 현재 작업 영상 및 이전 작업 영상을 비교하여 변화율을 검출할 수 있다. 여기에서, 변화율의 임계값은 사용자에 의하여 설정되거나, 영상 처리 장치(100)의 위치 또는 작업 내용에 의하여 기 설정된 값으로 조정될 수 있다. 변화율의 임계값은 작업 영상의 처리 시간 간격 및 작업 영상의 정확성을 고려하여 지정될 수 있다.In one embodiment, the image processor 130 may compare the previous image of the working image and the previous image to detect the rate of change, and may update the panorama image if the rate of change is greater than or equal to a threshold value. The work image can be changed by the state change of the work subject 10 by the manipulation apparatus 140. For example, since the position, shape, and status of the workpiece 10 can be changed by the manipulation device 140, the workpiece image including the workpiece 10 can be changed. The working image can be changed by the viewpoint change of the modeling image 320. [ For example, the modeling image 320 may be changed in viewpoint by control by the user or visual guidance, and the image processing unit 130 may provide a task image of a multi-point to the object 10. The working image can be changed by a change in the position of the image processing apparatus 100. [ The image processing unit 130 may update only the modeling image 320 or update both the panorama image 310 and the modeling image 320 according to the degree of change of the position of the image processing apparatus 100. [ For example, when the image processing apparatus 100 is performing an operation only by the operation of the manipulation apparatus 140 in a stopped state, the image processing unit 130 does not update the panorama image. On the other hand, when the image processing apparatus 100 moves the work subject 10 through its own movement, the panorama image can be updated. In addition, the working image can be changed by the change in the imaging direction of the stereoscopic camera unit 110. [ The image processing unit 130 may store a previous image of the operation image and compare the previous image with the current operation image. The image processing unit 130 can detect the rate of change by comparing the current job image and the previous job image. Here, the threshold value of the rate of change may be set by the user, or may be adjusted to a predetermined value by the position of the image processing apparatus 100 or the contents of the operation. The threshold of change rate can be specified in consideration of the processing time interval of the job image and the accuracy of the job image.

영상 처리부(130)는 입체 카메라부(110)를 통해 수신된 영상의 깊이 정보를 추출할 수 있다. 영상 처리부(130)는 소실선 또는 소실점을 이용하여 깊이 정보를 추출할 수 있다. 깊이 정보는 물체에 입체감을 부여하기 위하여 사용될 수 있다. 또한, 영상 처리부(130)는 사용자에 의하여 부여된 깊이 정보를 수신할 수 있다. 영상 처리부(130)는 사용자로부터 깊이 정보를 수신하는 경우 영상의 전처리 과정을 용이하게 수행할 수 있다.The image processing unit 130 may extract depth information of the image received through the stereoscopic camera unit 110. FIG. The image processing unit 130 may extract depth information using a missing line or a vanishing point. Depth information can be used to impart a sense of depth to an object. Also, the image processing unit 130 can receive the depth information given by the user. The image processing unit 130 can easily perform a preprocessing process of an image when receiving depth information from a user.

영상 처리 장치(100)는 영상 처리부(130)에서 생성된 작업 영상을 출력 장치를 통해 사용자에게 제공할 수 있다. 사용자는 작업 영상을 제공 받아 작업 대상(10) 또는 관심 영역에 대한 정보를 획득할 수 있다. 사용자는 작업 영상을 기초로 작업 환경에 대한 정보를 획득하고, 매니퓰레이션 장치(140)를 제어하여 작업을 수행할 수 있다.
The image processing apparatus 100 may provide the user with the task image generated by the image processing unit 130 through an output device. The user can receive the task video and obtain information about the task target 10 or the region of interest. The user can acquire information on the work environment based on the work image and control the manipulation apparatus 140 to perform the work.

도 4는 도 1에 있는 영상 처리 장치에서 수행되는 영상 처리 과정에 대한 순서도이다.4 is a flowchart illustrating an image processing process performed in the image processing apparatus of FIG.

입체 카메라부(110)는 작업 도구의 작업 방향을 향해 배치되고 작업 대상(10)을 촬상할 수 있다(단계 S410). 일 실시예에서, 입체 카메라부(110)는 영상 처리 장치(100)의 전면에 배치될 수 있고, 스테레오 카메라(Stereoscopic Camera) 또는 입체 센서를 통해 구현될 수 있다. 여기에서, 입체 카메라부(110)의 위치는 반드시 이에 한정되는 것은 아니고 실시예에 따라 변경될 수 있다. 입체 카메라부(110)는 사용자가 필요로 하는 특정 방향의 모델링 영상(320)을 촬영하기 위하여 배치될 수 있다. 입체 카메라부(110)는 초점 및 노출 양을 조절할 수 있고 시점 이동을 통해 다시점 영상을 촬상할 수 있다. 입체 카메라부(110)는 작업 대상을 촬상하여 영상 처리부(130)에 제공할 수 있다. 모델링 영상(320)은 작업 도구의 작업 방향을 향해 배치된 작업 대상(10)에 대한 입체적 영상에 해당할 수 있다.The stereoscopic camera unit 110 is disposed toward the working direction of the work tool and can image the workpiece 10 (step S410). In one embodiment, the stereoscopic camera unit 110 may be disposed on the front side of the image processing apparatus 100, and may be implemented through a stereoscopic camera or a stereoscopic sensor. Here, the position of the stereoscopic camera unit 110 is not limited to this, and may be changed according to the embodiment. The stereoscopic camera unit 110 may be disposed to photograph a modeling image 320 in a specific direction required by the user. The stereoscopic camera unit 110 can adjust the focus and exposure amount and can capture a multi-view image through a viewpoint movement. The stereoscopic camera unit 110 may capture an object of work and provide the image to the image processing unit 130. [ The modeling image 320 may correspond to a stereoscopic image of the workpiece 10 disposed toward the working direction of the work tool.

파노라마 카메라부(120)는 서로 오버랩되는 복수의 배경 영역들(210)을 촬상하고(단계 S420), 복수의 배경 영역들 중 일부는 작업 대상(10)의 적어도 일부를 포함할 수 있다. 파노라마 카메라부(120)는 복수의 카메라들(120a, 120b, 120c)을 포함할 수 있다. 복수의 카메라들(120a, 120b, 120c)는 각각 다른 방향을 향하여, 각각의 배경 영역들(210)을 촬상할 수 있다. 파노라마 카메라부(120)는 복수의 배경 영역들(210)을 촬상하여, 영상 처리부(130)에 제공할 수 있다. 일 실시예에서, 복수의 카메라들(120a, 120b, 120c)이 적어도 하나의 장면이나 대상을 다른 시간이나 관점에서 촬영할 경우, 복수의 배경 영역들(210)은 서로 다른 좌표계에서 촬상될 수 있다. 영상 처리부(130)는 서로 다른 좌표계에서 촬상된 각각의 배경 영역들(210)을 파노라마 영상(220)으로 합성할 수 있다.The panoramic camera unit 120 captures a plurality of overlapping background areas 210 (step S420), and a part of the plurality of background areas may include at least a part of the object 10 to be operated. The panoramic camera unit 120 may include a plurality of cameras 120a, 120b, and 120c. The plurality of cameras 120a, 120b, and 120c can image respective background areas 210 toward different directions. The panoramic camera unit 120 can capture a plurality of background areas 210 and provide the captured image to the image processing unit 130. [ In one embodiment, when a plurality of cameras 120a, 120b, 120c capture at least one scene or object at different times or points of view, the plurality of background areas 210 may be captured in different coordinate systems. The image processing unit 130 may combine the background areas 210 captured in different coordinate systems into the panorama image 220.

영상 처리부(130)는 복수의 배경 영역들(210)을 파노라마 영상(220)으로 합성하고, 촬상된 작업 대상(10)에 대한 모델링 영상(320)을 생성하며, 파노라마 영상(310)과 모델링 영상(320)을 정합하여 작업 영상을 생성할 수 있다(단계 S430). 영상 처리부(130)는 사용자의 제어에 따라 모델링 영상(320)을 파노라마 영상(310)과 별도로 제어할 수 있는 비주얼 가이던스(Visual Guidance)를 제공할 수 있다. 영상 처리부(130)는 작업 도구를 통해 작업이 가능한 경우에는 작업 영상에 오버레이 객체를 표현할 수 있고, 작업 도구를 통해 작업이 진행 중인 경우에는 작업 영상과 작업 대상(10)이 오버레이되지 않게 비주얼 표시자를 표현할 수 있다.
The image processing unit 130 synthesizes a plurality of background areas 210 with the panorama image 220 and generates a modeling image 320 for the picked up image of the object 10. The panorama image 310, (Step S430). ≪ / RTI > The image processing unit 130 may provide a visual guidance for controlling the modeling image 320 separately from the panorama image 310 under the control of the user. The image processing unit 130 can display an overlay object on the work image when the work can be performed through the work tool and can display the overlay object on the work image and the work object 10 Can be expressed.

영상 처리 장치(100)는 복수의 배경 영역들(210)을 합성한 파노라마 영상(310) 및 작업 대상(10)에 대한 모델링 영상(320)을 정합할 수 있다. 영상 처리 장치(100)는 모델링 영상(320)을 파노라마 영상(310)과 별도로 제어할 수 있는 비주얼 가이던스를 제공할 수 있다. 또한, 영상 처리 장치(100)는 작업 영상을 확대하거나 작업 영상을 별도의 영상으로 분리하여 다시점의 입체 영상을 제공할 수 있다. 영상 처리 장치(100)는 파노라마 영상(310) 및 모델링 영상(320)을 별도로 제어하여, 영상 처리 속도를 향상시킬 수 있다. 즉, 사용자는 영상 처리 장치(100)를 통해 작업 현장에 대한 상황을 직관적으로 파악할 수 있고, 비가시권에 배치된 작업 대상(10)에 대한 작업을 수행할 수 있다.
The image processing apparatus 100 may match the panorama image 310 in which the plurality of background regions 210 are synthesized and the modeling image 320 for the work object 10. The image processing apparatus 100 may provide a visual guidance that can control the modeling image 320 separately from the panorama image 310. [ In addition, the image processing apparatus 100 may enlarge a working image or separate a working image into separate images to provide a stereoscopic image of a multi-point. The image processing apparatus 100 can separately control the panorama image 310 and the modeling image 320 to improve the image processing speed. That is, the user can intuitively grasp the situation of the work site through the image processing apparatus 100 and can perform work on the work target 10 disposed in the non-visible region.

상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit and scope of the present invention as defined by the following claims It can be understood that

100: 영상 처리 장치
110: 입체 카메라부
120: 파노라마 카메라부
130: 영상 처리부
140: 매니퓰레이션 장치
210: 복수의 배경 영역들
220: 파노라마 영상
310: 파노라마 영상
320: 모델링 영상100: image processing device
110: stereoscopic camera unit
120: panoramic camera unit
130:
140: Manipulation device
210: a plurality of background areas
220: Panoramic image
310: Panoramic image
320: Modeling video

Claims (8)

작업 도구의 작업 방향을 향해 배치되고 작업 대상을 촬상하는 입체 카메라부;
서로 오버랩되는 복수의 배경 영역들을 촬상하고, 상기 복수의 배경 영역들 중 일부는 상기 작업 대상의 적어도 일부를 포함하는 파노라마 카메라부; 및
상기 복수의 배경 영역들을 파노라마 영상으로 합성하고 상기 촬상된 작업 대상에 대한 모델링 영상을 생성하며, 상기 파노라마 영상과 상기 모델링 영상을 정합하여 작업 영상을 생성하고, 상기 모델링 영상의 확대 비율을 조절하여 상기 모델링 영상을 확대하거나, 상기 모델링 영상을 별도의 영상으로 분리하여 가상 카메라를 통한 시점 변경을 통해 다시점의 모델링 영상을 제공하는 영상 처리부를 포함하는 영상 처리 장치.
A stereoscopic camera part arranged toward the working direction of the working tool and picking up an object to be worked;
A panoramic camera part for picking up a plurality of background areas overlapping each other, the part of the plurality of background areas including at least a part of the object to be worked; And
Generating a working image by matching the panorama image with the modeling image, and adjusting an enlargement ratio of the modeling image to generate a working image by combining the panorama image and the modeling image, And an image processing unit for enlarging a modeling image, separating the modeling image into separate images, and providing a modeling image of a multi-viewpoint by changing a viewpoint through a virtual camera.
제1항에 있어서, 상기 영상 처리부는
사용자의 제어에 따라 상기 모델링 영상을 상기 파노라마 영상과 별도로 제어할 수 있는 비주얼 가이던스(Visual Guidance)를 제공하는 것을 특징으로 하는 영상 처리 장치.
The apparatus of claim 1, wherein the image processing unit
Wherein the visual guidance provides a visual guidance for controlling the modeling image separately from the panoramic image according to a user's control.
제2항에 있어서, 상기 영상 처리부는
상기 작업 도구를 통해 작업이 가능한 경우에는 상기 작업 영상에 오버레이 객체를 표현하는 것을 특징으로 하는 영상 처리 장치.
3. The apparatus of claim 2, wherein the image processing unit
Wherein the overlay object is represented on the work image when the work can be performed through the work tool.
제3항에 있어서, 상기 영상 처리부는
상기 작업 도구를 통해 작업이 진행 중인 경우에는 상기 작업 영상과 상기 작업 대상이 오버레이(Overlay)되지 않게 비주얼 표시자를 표현하는 것을 특징으로 하는 영상 처리 장치.
4. The apparatus of claim 3, wherein the image processing unit
Wherein when the work is being performed through the work tool, a visual indicator is displayed so that the work image and the work subject are not overlapped.
삭제delete 제1항에 있어서, 상기 영상 처리부는
캘리브레이션을 통해 고정 마커를 지정하고, 상기 고정 마커를 기준으로 상기 복수의 배경 영역들을 합성하여 상기 파노라마 영상을 생성하는 것을 특징으로 하는 영상 처리 장치.
The apparatus of claim 1, wherein the image processing unit
Wherein a fixed marker is designated through calibration, and the panorama image is generated by combining the plurality of background areas with reference to the fixed marker.
제1항에 있어서, 상기 영상 처리부는
상기 작업 영상 및 상기 작업 영상의 이전 영상을 비교하여 변화율을 검출하고, 상기 변화율이 임계값 이상이면 상기 파노라마 영상을 갱신하는 것을 특징으로 하는 영상 처리 장치.
The apparatus of claim 1, wherein the image processing unit
Wherein the control unit detects the change rate by comparing the operation image and the previous image of the operation image, and updates the panorama image when the change rate is equal to or greater than a threshold value.
작업 도구의 작업 방향을 향해 배치된 입체 카메라를 통해 작업 대상을 촬상하는 단계;
서로 오버랩되는 복수의 배경 영역들을 촬상하고, 상기 복수의 배경 영역들 중 일부는 상기 작업 대상의 적어도 일부를 포함하도록 촬상하는 단계; 및
상기 복수의 배경 영역들을 파노라마 영상으로 합성하고 상기 촬상된 작업 대상에 대한 모델링 영상을 생성하며, 상기 파노라마 영상과 상기 모델링 영상을 정합하여 작업 영상을 생성하고, 상기 모델링 영상의 확대 비율을 조절하여 상기 모델링 영상을 확대하거나, 상기 모델링 영상을 별도의 영상으로 분리하여 가상 카메라를 통한 시점 변경을 통해 다시점의 모델링 영상을 제공하는 단계를 포함하는 영상 처리 방법.
Imaging a work object through a stereoscopic camera disposed toward a working direction of the work tool;
Capturing a plurality of background areas overlapping each other, and capturing at least a part of the plurality of background areas so as to include at least a part of the work object; And
Generating a working image by matching the panorama image with the modeling image, and adjusting an enlargement ratio of the modeling image to generate a working image by combining the panorama image and the modeling image, Expanding a modeling image, separating the modeling image into separate images, and providing a modeling image of a multi-viewpoint by changing a viewpoint through a virtual camera.
KR1020140190266A 2014-12-26 2014-12-26 Image processing method and apparatus performing the same KR101611427B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140190266A KR101611427B1 (en) 2014-12-26 2014-12-26 Image processing method and apparatus performing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140190266A KR101611427B1 (en) 2014-12-26 2014-12-26 Image processing method and apparatus performing the same

Publications (1)

Publication Number Publication Date
KR101611427B1 true KR101611427B1 (en) 2016-04-12

Family

ID=55801230

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140190266A KR101611427B1 (en) 2014-12-26 2014-12-26 Image processing method and apparatus performing the same

Country Status (1)

Country Link
KR (1) KR101611427B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101763314B1 (en) * 2016-12-15 2017-08-01 프로비젼테크놀러지 주식회사 Method and apparatus for providing image processing
KR20200113326A (en) * 2019-03-25 2020-10-07 주식회사마이크로컴퓨팅 digital gardening content service system
WO2021054757A1 (en) * 2019-09-20 2021-03-25 주식회사 와이즈오토모티브 Front image generation device for construction equipment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004534315A (en) 2001-06-29 2004-11-11 ハネウェル・インターナショナル・インコーポレーテッド Method and system for monitoring moving objects

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004534315A (en) 2001-06-29 2004-11-11 ハネウェル・インターナショナル・インコーポレーテッド Method and system for monitoring moving objects

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김영욱 외2명, "지능 로보틱스 영상처리 기술동향", 정보과학회지 제26권 제4호, 2008.4. pp.5~11.*

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101763314B1 (en) * 2016-12-15 2017-08-01 프로비젼테크놀러지 주식회사 Method and apparatus for providing image processing
KR20200113326A (en) * 2019-03-25 2020-10-07 주식회사마이크로컴퓨팅 digital gardening content service system
KR102333912B1 (en) * 2019-03-25 2021-12-07 이헌수 digital gardening content service system
WO2021054757A1 (en) * 2019-09-20 2021-03-25 주식회사 와이즈오토모티브 Front image generation device for construction equipment

Similar Documents

Publication Publication Date Title
JP5260705B2 (en) 3D augmented reality provider
CN109040738B (en) Calibration method and non-transitory computer readable medium
JP6474905B2 (en) Remote operation system and operation support system
EP1985416B1 (en) Mobile robot
JP6295645B2 (en) Object detection method and object detection apparatus
JP2020535509A (en) Methods, devices and systems for automatically annotating target objects in images
US20160300355A1 (en) Method Of Estimating Imaging Device Parameters
EP1766580A2 (en) Method and apparatus for machine-vision
WO2011078066A1 (en) Device, method and program for image processing
JP6946087B2 (en) Information processing device, its control method, and program
US9905016B2 (en) Robot identification system
JP4834424B2 (en) Information processing apparatus, information processing method, and program
JP2019083402A (en) Image processing apparatus, image processing system, image processing method, and program
CN108629799B (en) Method and equipment for realizing augmented reality
KR101611427B1 (en) Image processing method and apparatus performing the same
KR100574227B1 (en) Apparatus and method for separating object motion from camera motion
JP2021177144A (en) Information processing apparatus, information processing method, and program
JP2015005925A (en) Image processing apparatus and image processing method
KR20120102202A (en) Stereo camera appratus and vergence control method thereof
JP2010131751A (en) Mobile robot
JP6621565B2 (en) Display control apparatus, display control method, and program
KR101945097B1 (en) 3D image acquisition and delivery method of user viewpoint correspondence remote point
JP2011146762A (en) Solid model generator
JP2019144958A (en) Image processing device, image processing method, and program
KR101668649B1 (en) Surrounding environment modeling method and apparatus performing the same

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190313

Year of fee payment: 4