KR100529721B1 - 다관절 로봇을 이용한 3ｄ 이미지 생성장치 및 그 방법 - Google Patents

다관절 로봇을 이용한 3ｄ 이미지 생성장치 및 그 방법 Download PDF

Info

Publication number
KR100529721B1
KR100529721B1 KR1020040108613A KR20040108613A KR100529721B1 KR 100529721 B1 KR100529721 B1 KR 100529721B1 KR 1020040108613 A KR1020040108613 A KR 1020040108613A KR 20040108613 A KR20040108613 A KR 20040108613A KR 100529721 B1 KR100529721 B1 KR 100529721B1
Authority
KR
South Korea
Prior art keywords
image
robot
support member
articulated
articulated robot
Prior art date
Application number
KR1020040108613A
Other languages
English (en)
Inventor
이성경
Original Assignee
주식회사 오피브이알솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오피브이알솔루션 filed Critical 주식회사 오피브이알솔루션
Priority to KR1020040108613A priority Critical patent/KR100529721B1/ko
Application granted granted Critical
Publication of KR100529721B1 publication Critical patent/KR100529721B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

개시된 본 발명은 컴퓨터상에서 이용자가 사물을 직접 만지는 듯한 체험을 할 수 있도록 화면상에 출력된 이미지를 다각도에서 회전시켜 볼 수 있고, 확대/축소하거나 사용되는 사물의 형태를 입체적으로 볼 수 있도록 하기 위한 다관절 로봇을 이용한 3D 이미지 생성장치 및 그 방법에 관한 것으로서, 턴테이블의 소정 위치에 피사체를 두고, 상기 피사체를 회전시켜가면서 촬영하여 3D 이미지를 생성하는 장치에 있어서, 가이드 홈이 형성되어 있는 지지부재; 전단부에 카메라가 장착되어 있으며, 외부로부터 입력되는 제어신호에 응하여 다관절 각각이 소정 각도로 회전하며, 하단부에 상기 지지부재의 가이드 홈과 결합되어 상기 지지부재 좌우로 이동가능하도록 돌기가 형성되어 있는 다관절 로봇; 외부로부터 입력되는 좌우구동신호에 응하여 상기 다관절 로봇이 상기 지지부재의 가이드 홈을 따라 좌측 또는 우측으로 이동되도록 하는 로봇좌우구동부; 사용자의 조작에 따라 소정 신호를 출력하는 입력부; 상기 입력부로부터 입력되는 신호에 응하여 상기 로봇좌우구동부로 좌우구동신호를 출력하고, 상기 다관절 로봇에 구비된 다관절의 현재 위치를 변경시킬 수 있도록 제어신호를 출력하는 한편, 상기 다관절이 변경된 위치에서 피사체를 촬영할 수 있도록 촬영신호를 상기 카메라로 출력하는 제어부; 상기 제어부의 제어에 따라 상기 카메라에 의해 촬영된 이미지를 저장하는 저장부; 및 상기 제어부의 제어에 따라 상기 카메라에 의해 촬영된 이미지를 화면상에 출력하는 출력부를 더 포함하여 구비되는 것을 특징으로 한다.

Description

다관절 로봇을 이용한 3Ｄ 이미지 생성장치 및 그 방법{3-DIMENSINO IMAGE GENERATING APPARATUS USING MULTI-JOINT ROBOT AND METHOD THEREOF}
본 발명은 다관절 로봇을 이용한 3D 이미지 생성장치 및 그 방법에 관한 것이다.
특히, 컴퓨터상에서 이용자가 사물을 직접 만지는 듯한 체험을 할 수 있도록 화면상에 출력된 이미지를 다각도에서 회전시켜 볼 수 있고, 확대/축소하거나 사용되는 사물의 형태를 입체적으로 볼 수 있도록 하기 위한 다관절 로봇을 이용한 3D 이미지 생성장치 및 그 방법에 관한 것이다.
인터넷, 시디롬(CD-ROM) 등과 같은 디지털 매체를 이용한 전자 상거래, 가상 박물관, 디지털 백과사전 및 전자 카타로그의 이용이 점차 증가하고 있는 추세이다.
상기와 같이 사용자가 가상 현실을 통한 물체를 접하게 될 때 좀더 시각적인 효과를 가질 수 있도록 사진과 같은 평면 이미지뿐 아니라 마치 눈앞에 실제 대상물이 있는 것과 같은 양안 입체시에 의한 충분한 입체감과 사용자가 대상물을 보는 방향이나 자세 등을 자유로이 선택 가능하게 하기 위해 3차원 이미지를 함께 제공할 필요가 있다.
이와 같이, 교육 효과, 제품에 대한 실제적 정보 제공 등의 다양한 목적을 달성하기 위해 3D 콘텐츠의 이용이 점차 증가하고 있다. 그러나, 종래의 3D 콘텐츠 제공 방법은 작업자가 촬영 대상물(예를 들어, 조각품, 판매용 제품 등)을 다수의 각도에서 수동으로 촬영한 후, 촬영된 사진들을 합성하여 하나의 3D 이미지로 생성하는 방법이나, 동영상을 촬영하여 동영상 파일을 제공하는 방법 등이 제공되고 있다.
수동으로 촬영된 복수의 사진을 합성하여 하나의 3D 이미지를 만드는 방법은 수요자(예를 들어, 구매자, 관람자 등)의 요구에 따른 각도의 이미지를 제공할 수 있다는 장점을 가지는 반면에, 3D 이미지를 만들기 위해 촬영하여야 하는 사진의 수량이 많고, 촬영시 많은 시간을 요구하며 또한 3D 이미지 생성 과정이 복잡해지는 문제점이 있었으며, 결과적으로 3D 이미지 생성 비용을 증가시키는 문제점도 있었다.
또한, 모든 촬영 대상물을 복수회 촬영할 때 사진의 중심점이 일치하지 않은 사진이 존재하는 경우에는 처음부터 촬영 작업을 다시 시작해야 하는 경우가 발생할 수도 있으며, 수작업으로 다양한 각도를 재촬영하는 과정에서 사람의 시각과 카메라 랜즈의 각도에 따른 작업 오차가 발행하는 문제점도 있었다.
이에 비해, 동영상을 촬영하여 동영상 파일을 제공하는 방법은 우수한 촬영 기자재를 이용하여 연속적으로 촬영 대상물을 촬영한 후 하나의 전자 파일로 제공할 수 있어 전자 파일 생성 시간을 단축시키고, 전자 파일 생성 과정이 용이하다는 장점이 있으나, 수요자가 원하는 각도의 이미지를 자유롭게 얻을 수 없다는 문제점이 있었다. 또한, 기존의 동영상 파일의 크기가 너무 커서 해당 파일을 제공하는 웹서버 (Web Server)가 정상적으로 동작하지 못하는 경우도 있어, 다수개의 제품 또는 자료를 홍보하는 데에는 한계가 있었다.
즉, 종래 기술에 따른 3D 콘텐츠 제공 방법은 3D 콘텐츠 생성 비용, 작업 시 간, 작업 비용, 수요자의 요구 불만족 등과 같은 많은 문제점을 가지고 있었다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 컴퓨터상에서 이용자가 사물을 직접 만지는 듯한 체험을 할 수 있도록 화면상에 출력된 이미지를 다각도에서 회전시켜 볼 수 있고, 확대/축소하거나 사용되는 사물의 형태를 입체적으로 볼 수 있도록 하기 위한 다관절 로봇을 이용한 3D 이미지 생성장치 및 그 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예는, 턴테이블의 소정 위치에 피사체를 두고, 상기 피사체를 회전시켜가면서 촬영하여 3D 이미지를 생성하는 장치에 있어서, 가이드 홈이 형성되어 있는 지지부재; 전단부에 카메라가 장착되어 있으며, 외부로부터 입력되는 제어신호에 응하여 다관절 각각이 소정 각도로 회전하며, 하단부에 상기 지지부재의 가이드 홈과 결합되어 상기 지지부재 좌우로 이동가능하도록 돌기가 형성되어 있는 다관절 로봇; 외부로부터 입력되는 좌우구동신호에 응하여 상기 다관절 로봇이 상기 지지부재의 가이드 홈을 따라 좌측 또는 우측으로 이동되도록 하는 로봇좌우구동부; 사용자의 조작에 따라 소정 신호를 출력하는 입력부; 상기 입력부로부터 입력되는 신호에 응하여 상기 로봇좌우구동부로 좌우구동신호를 출력하고, 상기 다관절 로봇에 구비된 다관절의 현재 위치를 변경시킬 수 있도록 제어신호를 출력하는 한편, 상기 다관절이 변경된 위치에서 피사체를 촬영할 수 있도록 촬영신호를 상기 카메라로 출력하는 제어부; 상기 제어부의 제어에 따라 상기 카메라에 의해 촬영된 이미지를 저장하는 저장부; 및 상기 제어부의 제어에 따라 상기 카메라에 의해 촬영된 이미지를 화면상에 출력하는 출력부를 더 포함하여 구비되는 것을 특징으로 한다.
또한, 본 발명의 다른 실시예는, 사용자의 조작에 따라 지지부재 상부에 위치하는 다관절 로봇의 위치와 다관절의 회전각도를 설정하는 설정과정; 상기 사용자의 조작에 따라 촬영신호가 입력되는 경우 상기 다관절 로봇의 현재 위치 및 다관절의 회전각도를 미리 설정된 값으로 변경시키면서 카메라를 통해 피사체를 촬영하는 촬영과정; 및 상기 촬영된 이미지에 포함되어 있는 노이즈를 제거하고, 상기 피사체를 객체로 분리하여 다른 이미지와 혼합하기 위해 이미지 내의 내용을 분석하여 객체를 추출하고, 상기 추출한 객체를 상기 사용자가 선택한 다른 영상과 합성하는 3D 이미지생성과정으로 이루어진 것을 특징으로 한다.
이하, 첨부한 도면을 참조하여 본 발명에 대해 설명하면 다음과 같다.
가이드 홈이 형성되어 있는 지지부재(105)와, 전단부에 카메라(100)가 장착되어 있으며, 후술하는 제어부(150)로부터 입력되는 제어신호에 응하여 다관절 각각이 소정 각도로 회전하며, 하단부에 상기 지지부재(105)의 가이드 홈과 결합되어 상기 지지부재(105) 좌우로 이동가능하도록 돌기가 형성되어 있는 다관절 로봇(110)과, 상기 제어부(150)로부터 입력되는 좌우구동신호에 응하여 상기 다관절 로봇(110)이 상기 지지부재(105)의 가이드 홈을 따라 좌측 또는 우측으로 이동되도록 하는 로봇좌우구동부(120)와, 상기 지지부재(105)의 하단부에 형성되며, 상기 제어부(150)로부터 입력되는 상하구동신호에 응하여 지지부재(105)가 상측 또는 하측으로 이동될 수 있도록 하는 로봇상하구동부(130)와, 사용자의 조작에 따라 소정 신호를 출력하는 입력부(140)와, 상기 입력부(140)로부터 입력되는 신호에 응하여 상기 로봇좌우구동부(120)로 좌우구동신호를 출력하고, 상기 다관절 로봇(110)에 구비된 다관절의 현재 위치를 변경시킬 수 있도록 제어신호를 출력하는 한편, 상기 다관절이 변경된 위치에서 피사체를 촬영할 수 있도록 촬영신호를 상기 카메라(100)로 출력하는 한편 상기 입력부(140)를 통해 입력되는 제어신호에 응하여 상기 로봇상하구동부로 상하구동신호를 출력하는 제어부(150)와, 상기 제어부(150)의 제어에 따라 상기 카메라에 의해 촬영된 이미지를 저장하는 저장부(170)와, 상기 제어부(150)의 제어에 따라 상기 카메라(100)에 의해 촬영된 이미지를 화면상에 출력하는 출력부(160)로 구성된다.
상기 제어부(150)는 상기 촬영된 이미지에 포함되어 있는 노이즈를 제거하고, 상기 피사체를 객체로 분리하여 다른 이미지와 혼합하기 위해 이미지 내의 내용을 분석하여 객체를 추출하고, 상기 추출한 객체를 상기 사용자가 선택한 다른 영상과 합성한다.
상기 제어부(150)는 상기 피사체를 촬영한 이미지로부터 객체를 추출할 때, 히스토그램 분석을 통한 장면 변환점을 검색하고, 장면 변환점을 통해 내용의 변화를 구분하고, 인덱싱 한 장면 속의 내용에서 유사한 부분을 추정하여 객체를 인식한다.
상기 제어부(150)는 객체를 인식하기 위해서 한 장면의 이미지를 분할하여 객체와 배경을 나누고, 동일한 장면 내의 사람이나 사물을 각각 인식하기 위해 영상을 따로 분할 한 후 그 분할된 영상 속에서 각각의 객체를 인식하여 추출한다.
상기 제어부(150)는 상기 객체를 선택된 동영상에 삽입하기 전에 상기 삽입되는 배경과 잘 어울리도록 상기 객체의 그림자를 제거하여 합성한 후 손실영역을 보정한다.
상기 제어부(150)는 3가지 색상 특징치(R, G, B)와 질감 특징치인 4차원 벡터의 특징치를 4차원 공간상에 근접한 정도에 따라 각 클러스터로 군집화하고, 상기 클러스터가 영상의 각 객체로 표현되고 각각의 객체에서 객체를 대표하는 특징값들을 추출하여 객체단위의 유사도를 판별한다.
상기 제어부(150)는 군집화 과정에 사용할 클러스터간의 한계거리를 임계값을 0.14로 설정하여 영상을 분할한다.
상기와 같이 다관절 로봇을 이용한 3D 이미지 생성장치의 동작에 대해 설명하면 다음과 같다.
먼저 첨부 도면 도 1 및 도 2에 도시된 바와 같이 사용자는 입력부(140)를 이용하여 다관절 로봇의 좌우위치, 상하 위치를 설정하는 한편 다관절의 회전각도를 설정하면, 제어부(150)는 상기 입력부(140)를 통해 입력되는 설정값들을 저장부(170)에 저장하는 한편, 상기 로봇좌우구동부(120) 및 로봇상하구동부(130)로 좌우구동신호 및/또는 상하구동신호를 출력한다(S100).
그러면 상기 로봇좌우구동부(120)는 상기 좌우구동신호에 응하여 상기 다관절 로봇의 하단부에 형성된 돌기가 지지부재(105)의 가이드 홈을 따라 좌측 또는 우측으로 이동시킨다.
그리고, 상기 로봇상하구동부(130)는 상기 상하구동신호에 응하여 상기 지지부재(105)를 상측 또는 하측으로 이동시켜 다관절 로봇이 촬영 시작위치를 위치되도록 한다.
그리고, 사용자가 입력부(140)를 통해 촬영요청신호를 입력하면, 제어부(150)는 상기 촬영요청신호에 응하여 상기 카메라(100)로 촬영신호를 출력한다. 이때 제어부(150)는 카메라(100)가 한번 촬영하고 나면 다시 다관절 로봇의 촬영위치를 미리 설정된 값에 따라 변경시키면서 상기 카메라(100)로 촬영신호를 출력하여 소정 피사체를 촬영한다(S110).
이때 상기 피사체는 턴테이블의 소정 위치에 놓여지며, 경우에 따라서 턴테이블의 촬영되고 있는 동안 미리 설정된 속도로 회전할 수 있다.
상기와 같은 방법에 따라 촬영된 피사체의 이미지는 저장부(170)에 저장되고, 하나의 피사체에 대해 촬영이 모두 완료되면 제어부(150)는 사용자의 요청에 응하여 촬영된 이미지들을 이용하여 3D 이미지를 생성한다(S120).
한편, 상기 제어부(150)의 3D 이미지 생성방법은 첨부 도면 도 3에 도시된 바와 같이, 콘텐츠를 제작하기 위해서는 영상내의 노이즈를 제거하고, 피사체(사람이나 사물)를 객체로 분리하여 다른 영상과 혼합하기 위해 영상속의 내용을 분석하여 객체를 추출하고, 추출한 객체를 다른 영상과 합성한 후, 합성된 영상을 보완하여 자연스러운 영상이 생성되도록 해야 한다.
그러므로, 상기 제어부(150)는 히스토그램 분석을 통한 장면 변환점을 검색하고(S200), 상기 검색된 장면 변환점을 통해 내용의 변화를 구분한다. 그리고, 내용의 변화를 구분한 후 인덱싱 한 장면 속에서 내용이 유사한 부분을 추정하여 구분해 낸다(S210).
상기와 같이 내용 구분에 의해서 인덱싱이 완료되면, 제어부(150)는 인덱싱 된 장면 속에서 객체를 인식한다(S220). 제어부(150)는 상기와 같이 객체를 인식하기 위해서 한 장면의 영상을 분할하여 객체와 배경을 나누고 이 중에 표현해야 할 객체를 추출한다.
동일한 장면 내의 피사체(사람이나 사물)를 각각 인식하기 위해 영상을 따로 분할 한 후 그 분할된 영상 속에서 각각의 객체를 인식하여 추출해낸다(S230).
상기와 같이 객체를 추출한 후에는 동영상 내에서 객체의 움직임 및 방향성을 추출해야 하며, 이때 추출하는 방법은 윤곽선 추출 방법 및 색상 비교 등의 알고리즘을 통해 객체를 표현하는 방법을 트래킹하여 추출해낸다.
그리고, 제어부(150)는 상기 분리된 객체를 다른 동영상에 삽입할 때 상기 분리된 객체가 삽입되는 배경과 잘 어울리도록 객체의 그림자를 제거하여 합성한 후 손실영역을 보상해준다.
즉, 제어부(150)는 영상내에서 실사 기반 렌더링 방식의 객체를 만들기 위해서는 영상 내의 각각의 객체를 분리해 낸 후 각 객체의 내용을 표현함으로서 객체 단위 혹은 객체들의 집합을 통해 영상 속의 객체를 분리해 낼 수 있으며, 영상 내에서 불필요한 잡음 등을 제거한 후 영상의 색상과 질감정보를 추출하고, 이 정보가 유사한 영역들을 군집화(Clustering)함으로써 객체를 분할한다.
전처리 과정
제어부(150)는 영상내에서 객체를 분리하기 위해서 영상 내에 존재하는 잡음은 R, G, B 각각의 채널에 적용된 5ㅧ 5 중간필터(Median Filter)에 의해 제거된 후 그레이 모폴로지를 통해 영상을 보다 간략히 표현한다.
색상
그리고, 제어부(150)는 색상 히스토그램의 미리 설정된 색상정보를 이용하여 유사도를 계산한다. 즉, 제어부(150)는 검색의 적합성을 유지하면서 적절한 색상수를 표현하기 위해 저장부(170)에 미리 저장된 [표1]과 같은 기본 색상표를 이용하여 유사여부를 판단한다.
상기 [표1]은 각 채널당 3개의 색상으로 양자화 하여 총 27개의 색상으로 표현한 것이다. 따라서 제어부(150)는 모폴로지 수행후의 영상에 대해 각 화소의 R, G, B 값을 구한 후 이 값이 기본색상표에 있는 어느 색상과 가장 유사한지를 판단해 기본색상표에 있는 색상으로 새로 할당한다.
Color R G B Color R G B
Black 0 0 0 SlateBlue 128 128 255
DarkBlue 0 0 128 LawnGreen 128 255 0
Blue 0 0 255 PaleGreen 128 255 128
DarkGreen 0 128 0 LightCyan 128 255 255
Turquoise 0 128 128 Red 255 0 0
SkyBlue 0 128 255 Maroon 255 0 128
Green 0 255 0 Magenta 255 0 255
SpringGreen 0 255 128 Orange 255 128 0
Cyan 0 255 255 Pink 255 128 128
Brown 128 0 0 LightMagenta 255 128 255
Violet 128 0 128 Yellow 255 255 0
MarineBlue 128 0 255 LightYellow 255 255 128
OliveDrab 128 128 0 White 255 255 255
Gray 128 128 128
질감
한편, 대부분의 자연영상은 질감정보를 가지고 있다. 잔디나 나무 등을 포함하고 있는 영상은 색상보다는 질감에 의한 변별력이 보다 높은 경우도 많기 때문에 영상을 분할하거나 내용기반 검색에도 이러한 질감정보는 유용하게 사용될 수 있다. 따라서, 제어부(450)는 각 영상마다 7×7 블록을 씌워서 수평과 수직의 변화의 유형을 조사하여 질감특징을 추출한다. 상기 질감추출방법은 아래와 같다.
(1)
즉, 제어부(450)는 7×7 블록의 각 화소에 대해 수평 방향으로 한 화소씩 이동을 하면서 그 그레이 값의 변화가 미리 정한 임계값 의 범위를 넘는다면 수평방향의 빈도값을 하나씩 증가시킨다. 상기와 같은 동일한 과정으로 수평방향으로 블록 내에 있는 모든 화소에 수행하게 되면 한 블록내의 그레이 값의 변화정도를 알 수 있다. 여기서 ij는 블록에서의 각각의 화소를 나타낸다.
(2)
수직방향(Vertical)으로 그레이 값의 변화를 측정하는 것만 다르고 식(1)과 동일하다.
수직 방향과 수평방향의 와 의 구한 값을 모두 더한 후 0∼1사이의 값으로 정규화 시키기 위하여 임계값 이 넘는 수평과 수직방향의 그레이 변화 최대값인 2×49로 나누어 재 정의한다.
(3)
객체 분할
객체단위의 영상 합성을 위해서는 영상내의 객체를 적절히 분할해야 하는데, 제어부(150)는 상기에서 추출한 색상과 질감정보를 입력벡터로 하여 n차원 벡터공간상에 점으로 표현하고, 상기 점들의 집합을 공간상 위치가 비슷한 부류끼리 군집화 함으로써 영상의 객체를 분할한다(첨부 도면 도 4 참조).
입력벡터
그리고, 한 화소당 3가지 색상 특징치(R, G, B)와 질감 특징치, 즉, 4차원 벡터의 특징치를 추출할 수 있으며, 상기 추룰된 3차원 벡터의 특징치는 VQ알고리즘의 입력벡터로 이용된다.
제어부(150)는 VQ알고리즘에 상기 입력벡터를 적용시켜 4차원 공간상에 근접한 정도에 따라 각 클러스터로 군집화시킨다. 상기 제어부(150)는 상기 클러스터가 영상의 각 객체로 표현되고 각각의 객체에서 객체를 대표하는 특징값들을 추출함으로써 객체단위의 유사도를 판별할 수 있게 된다. 이때 입력벡터는 요소간(R, G, B, 질감특징치)에 값의 범위가 차이가 나므로 정규화 과정을 거쳐 정규화된다.
상기 제어부(150)는 VQ알고리즘에 따라 입력 데이터들을 그 분포에 따라 여러 개의 의미 있는 부류로 분할할 수 있으며, 사용자에 의해 미리 설정된 클러스터의 개수에 따라 군집화를 형성시켜 데이터의 분포에 적합하게 데이터를 자동으로 분류한다.
그리고, 제어부(150)는 VQ알고리즘을 이용하기 위해 클러스터간의 한계거리를 임계값으로 미리 정해주어야 하는데, 데이터의 차원과 특성, 그리고 데이터가 갖는 범위 등을 고려하여 결정해야 하며, 가장 적절한 임계값은 0.1이다.
첨부 도면 도 5는 원래의 영상과 VQ 알고리즘을 이용하여 영상을 분할한 후의 영상을 도시한 도면이다.
이상의 본 발명은 상기 실시예들에 의해 한정되지 않고, 당업자에 의해 다양한 변형 및 변경을 가져올 수 있으며, 이는 첨부된 청구항에서 포함되는 본 발명의 취지와 범위에 포함된다.
이상에서 살펴본 바와 같이, 본 발명은 여러 장의 사진을 순차적으로 보여주는 일반적인 방식보다 실제 사물이 자신의 눈앞에 있는 듯한 체험을 할 수 있도록 하여 인터넷 쇼핑몰, 전자카탈로그, 사이버박물관, 온라인 게임 및 애니메이션 등 다양한 분야에서 사물의 형체를 다각도에서 입체적으로 관찰할 수 있도록 하는 효과가 있다.
도 1은 본 발명에 따른 다관절 로봇을 이용한 3D 이미지 생성장치의 구성을 설명하기 위한 블록도,
도 2 및 도 3은 본 발명에 따라 3D 이미지를 생성하는 방법을 설명하기 위한 동작 흐름도,
도 4는 영상분할을 통해 분리된 영상을 설명하기 위한 도면,
도 5는 원래의 영상과 VQ 알고리즘을 이용하여 영상을 분할한 후의 영상을 설명하기 위한 도면이다.
*** 도면의 주요부분에 대한 간단한 설명 ***
100 : 카메라 110 : 다관절 로봇
120 : 로봇좌우구동부 130 : 로봇상하구동부
140 : 입력부 150 : 제어부
160 : 출력부 170 : 저장부

Claims (14)

  1. 턴테이블의 소정 위치에 피사체를 두고, 상기 피사체를 회전시켜가면서 촬영하여 3D 이미지를 생성하는 장치에 있어서,
    가이드 홈이 형성되어 있는 지지부재;
    전단부에 카메라가 장착되어 있으며, 외부로부터 입력되는 제어신호에 응하여 다관절 각각이 소정 각도로 회전하며, 하단부에 상기 지지부재의 가이드 홈과 결합되어 상기 지지부재 좌우로 이동가능하도록 돌기가 형성되어 있는 다관절 로봇;
    외부로부터 입력되는 좌우구동신호에 응하여 상기 다관절 로봇이 상기 지지부재의 가이드 홈을 따라 좌측 또는 우측으로 이동되도록 하는 로봇좌우구동부;
    사용자의 조작에 따라 소정 신호를 출력하는 입력부;
    상기 입력부로부터 입력되는 신호에 응하여 상기 로봇좌우구동부로 좌우구동신호를 출력하고, 상기 다관절 로봇에 구비된 다관절의 현재 위치를 변경시킬 수 있도록 제어신호를 출력하는 한편, 상기 다관절이 변경된 위치에서 피사체를 촬영할 수 있도록 촬영신호를 상기 카메라로 출력하고, 상기 촬영된 이미지에 포함되어 있는 노이즈를 제거하고, 상기 촬영된 이미지로부터 객체를 추출할 때 히스토그램 분석을 통한 장면 변환점을 검색하고, 장면 변환점을 통해 내용의 변화를 구분하고, 인덱싱 한 장면 속의 내용에서 유사한 부분을 추정하여 객체를 인식하여 상기 피사체를 촬영한 이미지로부터 객체를 추출하고, 추출된 객체를 상기 사용자가 선택한 다른 영상과 합성하는 제어부;
    상기 제어부의 제어에 따라 상기 카메라에 의해 촬영된 이미지를 저장하는 저장부; 및
    상기 제어부의 제어에 따라 상기 카메라에 의해 촬영된 이미지를 화면상에 출력하는 출력부;
    를 더 포함하여 구비되는 것을 특징으로 하는 다관절 로봇을 이용한 3D 이미지 생성장치.
  2. 제 1 항에 있어서,
    상기 지지부재의 하단부에는 상기 지지부재를 상하로 구동시킬 수 있는 로봇상하구동부가 더 형성되어 있으며, 외부로부터 입력되는 상하구동신호에 응하여 지지부재가 상측 또는 하측으로 이동될 수 있도록 하는 것을 특징으로 하며,
    상기 제어부는, 상기 입력부를 통해 입력되는 제어신호에 응하여 상기 로봇상하구동부로 상하구동신호를 출력하는 것을 특징으로 하는 다관절 로봇을 이용한 3D 이미지 생성장치.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서, 상기 제어부는,
    객체를 인식하기 위해서 한 장면의 이미지를 분할하여 객체와 배경을 나누고, 동일한 장면 내의 사람이나 사물을 각각 인식하기 위해 영상을 따로 분할 한 후 그 분할된 영상 속에서 각각의 객체를 인식하여 추출하는 것을 특징으로 하는 다관절 로봇을 이용한 3D 이미지 생성장치.
  6. 제 1 항에 있어서, 상기 제어부는,
    상기 객체를 선택된 동영상에 삽입하기 전에 상기 삽입되는 배경과 잘 어울리도록 상기 객체의 그림자를 제거하여 합성한 후 손실영역을 보정하는 것을 특징으로 하는 다관절 로봇을 이용한 3D 이미지 생성장치.
  7. 제 3 항에 있어서, 상기 제어부는,
    3가지 색상 특징치(R, G, B)와 질감 특징치인 4차원 벡터의 특징치를 4차원 공간상에 근접한 정도에 따라 각 클러스터로 군집화하고, 상기 클러스터가 영상의 각 객체로 표현되고 각각의 객체에서 객체를 대표하는 특징값들을 추출하여 객체단위의 유사도를 판별하는 것을 특징으로 하는 다관절 로봇을 이용한 3D 이미지 생성장치.
  8. 제 7 항에 있어서, 상기 제어부는,
    군집화 과정에 사용할 클러스터간의 한계거리를 임계값을 0.14로 설정하여 영상을 분할하는 것을 특징으로 하는 다관절 로봇을 이용한 3D 이미지 생성장치.
  9. 사용자의 조작에 따라 지지부재 상부에 위치하는 다관절 로봇의 위치와 다관절의 회전각도를 설정하는 설정과정;
    상기 사용자의 조작에 따라 촬영신호가 입력되는 경우 상기 다관절 로봇의 현재 위치 및 다관절의 회전각도를 미리 설정된 값으로 변경시키면서 카메라를 통해 피사체를 촬영하는 촬영과정; 및
    상기 촬영된 이미지에 포함되어 있는 노이즈를 제거하고, 상기 촬영한 이미지로부터 객체를 추출할 때 히스토그램 분석을 통한 장면 변환점을 검색하고, 장면 변환점을 통해 내용의 변화를 구분하고, 인덱싱 한 장면 속의 내용에서 유사한 부분을 추정하여 객체를 인식하여 추출한 후 상기 추출한 객체를 상기 사용자가 선택한 다른 영상과 합성하는 3D 이미지생성과정;
    으로 이루어진 것을 특징으로 하는 다관절 로봇을 이용한 3D 이미지 생성방법.
  10. 삭제
  11. 제 9 항에 있어서, 상기 3D 이미지생성과정은,
    객체를 인식하기 위해서 한 장면의 이미지를 분할하여 객체와 배경을 나누고, 동일한 장면 내의 사람이나 사물을 각각 인식하기 위해 영상을 따로 분할 한 후 그 분할된 영상 속에서 각각의 객체를 인식하여 추출하는 과정을 더 포함하는 것을 특징으로 하는 다관절 로봇을 이용한 3D 이미지 생성방법.
  12. 제 11 항에 있어서, 상기 3D 이미지생성과정은,
    상기 객체를 선택된 동영상에 삽입하기 전에 상기 삽입되는 배경과 잘 어울리도록 상기 객체의 그림자를 제거하여 합성한 후 손실영역을 보정하는 과정을 더 포함하는 것을 특징으로 하는 다관절 로봇을 이용한 3D 이미지 생성방법.
  13. 제 12 항에 있어서, 상기 3D 이미지생성과정은,
    3가지 색상 특징치(R, G, B)와 질감 특징치인 4차원 벡터의 특징치를 4차원 공간상에 근접한 정도에 따라 각 클러스터로 군집화하고, 상기 클러스터가 영상의 각 객체로 표현되고 각각의 객체에서 객체를 대표하는 특징값들을 추출하여 객체단위의 유사도를 판별하는 과정을 더 포함하는 것을 특징으로 하는 다관절 로봇을 이용한 3D 이미지 생성방법.
  14. 제 13 항에 있어서, 상기 3D 이미지생성과정은,
    군집화 과정에 사용할 클러스터간의 한계거리를 임계값을 0.14로 설정하여 영상을 분할하는 것을 특징으로 하는 다관절 로봇을 이용한 3D 이미지 생성방법.
KR1020040108613A 2004-12-20 2004-12-20 다관절 로봇을 이용한 3ｄ 이미지 생성장치 및 그 방법 KR100529721B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040108613A KR100529721B1 (ko) 2004-12-20 2004-12-20 다관절 로봇을 이용한 3ｄ 이미지 생성장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040108613A KR100529721B1 (ko) 2004-12-20 2004-12-20 다관절 로봇을 이용한 3ｄ 이미지 생성장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR100529721B1 true KR100529721B1 (ko) 2005-11-22

Family

ID=37306130

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040108613A KR100529721B1 (ko) 2004-12-20 2004-12-20 다관절 로봇을 이용한 3ｄ 이미지 생성장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100529721B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100753965B1 (ko) * 2006-04-07 2007-08-31 (주)아이토닉 퍼펫의 자세캡쳐 시스템 및 그 방법
KR20110005515A (ko) * 2009-07-10 2011-01-18 엘지디스플레이 주식회사 3차원 실사 영상 구현 시스템
KR101569787B1 (ko) * 2014-04-14 2015-11-17 브이앤아이 주식회사 멀티 카메라에 의한 3d 동영상 정보 획득방법
KR20230096360A (ko) 2021-12-23 2023-06-30 (주)모션테크놀로지 멀티 카메라를 이용한 스포츠 동작 분석 시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100753965B1 (ko) * 2006-04-07 2007-08-31 (주)아이토닉 퍼펫의 자세캡쳐 시스템 및 그 방법
KR20110005515A (ko) * 2009-07-10 2011-01-18 엘지디스플레이 주식회사 3차원 실사 영상 구현 시스템
KR101582131B1 (ko) * 2009-07-10 2016-01-05 엘지디스플레이 주식회사 3차원 실사 영상 구현 시스템
KR101569787B1 (ko) * 2014-04-14 2015-11-17 브이앤아이 주식회사 멀티 카메라에 의한 3d 동영상 정보 획득방법
KR20230096360A (ko) 2021-12-23 2023-06-30 (주)모션테크놀로지 멀티 카메라를 이용한 스포츠 동작 분석 시스템

Similar Documents

Publication Publication Date Title
US11632533B2 (en) System and method for generating combined embedded multi-view interactive digital media representations
US11475626B2 (en) Damage detection from multi-view visual data
US8928729B2 (en) Systems and methods for converting video
AU760594B2 (en) System and method for creating 3D models from 2D sequential image data
US6965379B2 (en) N-view synthesis from monocular video of certain broadcast and stored mass media content
US5710875A (en) Method and apparatus for processing 3-D multiple view images formed of a group of images obtained by viewing a 3-D object from a plurality of positions
JP4642757B2 (ja) 画像処理装置および画像処理方法
WO2012153447A1 (ja) 画像処理装置、映像処理方法、プログラム、集積回路
CA2681342A1 (en) System and method for region classification of 2d images for 2d-to-3d conversion
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
EP3915050A1 (en) Damage detection from multi-view visual data
US9208606B2 (en) System, method, and computer program product for extruding a model through a two-dimensional scene
CN114821675B (zh) 对象的处理方法、系统和处理器
WO2022047701A1 (zh) 图像处理方法和装置
WO2019213392A1 (en) System and method for generating combined embedded multi-view interactive digital media representations
KR100529721B1 (ko) 다관절 로봇을 이용한 3ｄ 이미지 생성장치 및 그 방법
CN115689882A (zh) 一种图像处理方法、装置和计算机可读存储介质
KR20060070002A (ko) 3ｄ 컨텐츠 제공 시스템 및 그 운영방법
KR100422470B1 (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치
CN110177216A (zh) 图像处理方法、装置、移动终端以及存储介质
Tasli et al. Interactive 2d 3d image conversion method for mobile devices
KR20000043591A (ko) 모델 기반 부호화 시스템에서의 얼굴 영상 세그멘테이션 방법
US20230217001A1 (en) System and method for generating combined embedded multi-view interactive digital media representations
Cheok et al. Humanistic Oriental art created using automated computer processing and non-photorealistic rendering
JP3598051B2 (ja) 画像検索装置、画像検索方法および画像検索処理プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee