KR20090081190A - 휴대용 단말기 - Google Patents

휴대용 단말기 Download PDF

Info

Publication number
KR20090081190A
KR20090081190A KR1020080007148A KR20080007148A KR20090081190A KR 20090081190 A KR20090081190 A KR 20090081190A KR 1020080007148 A KR1020080007148 A KR 1020080007148A KR 20080007148 A KR20080007148 A KR 20080007148A KR 20090081190 A KR20090081190 A KR 20090081190A
Authority
KR
South Korea
Prior art keywords
image data
image
viewpoint
depth information
unit
Prior art date
Application number
KR1020080007148A
Other languages
English (en)
Inventor
윤준혁
박연동
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020080007148A priority Critical patent/KR20090081190A/ko
Publication of KR20090081190A publication Critical patent/KR20090081190A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 휴대용 단말기에 관한 것으로, 영상 데이터를 획득하고자 하는 영역에 대한 2차원 영상 데이터 및 깊이 정보를 획득하는 카메라; 2차원 영상 데이터 및 깊이 정보를 이용하여 서로 다른 복수의 시점들에 대응되는 복수의 시점 영상 데이터들을 생성하는 다시점영상생성부; 및 복수의 시점 영상 데이터들을 이용하여 다시점 입체 영상 데이터를 생성하는 영상합성부를 포함하는 것을 특징으로 한다.
본 발명에 따른 휴대용 단말기에 의하면, 깊이 정보 획득이 가능한 깊이 카메라를 구비하여 복잡한 연산을 수행하지 아니하고 용이하게 다시점 입체 영상을 획득 및 재생할 수 있으며, 다시점 입체 영상 데이터의 전송에 소모되는 대역폭 및 시간을 감소시킬 수 있다.

Description

휴대용 단말기{Portable terminal}
본 발명은 휴대용 단말기에 관한 것으로서, 보다 상세하게는 다시점 입체 영상의 재생이 가능한 휴대용 단말기에 관한 것이다.
일반적인 영상 데이터는 상기 영상에 포함된 각 화소의 색상 등에 대한 정보, 예를 들어 R(Red), G(green), B(Blue) 데이터를 포함하여, 2 차원적인 영상 정보를 포함한다.
상기와 같은 영상 데이터를 이용하여 영상을 디스플레이하는 경우, 피사체의 입체적인 형상을 표현하는데에 한계가 있다.
따라서, 입체 영상 데이터는 2차원적인 영상 정보뿐 아니라, 깊이(depth) 정보를 포함하여, 상기 입체 영상 데이터를 입력받은 재생 장치가 입체적인 효과를 가지는 영상을 디스플레이할 수 있도록 한다.
또한, 최근 사용자에게 보다 현실감 있는 입체 영상을 제공하기 위해, 여러 시점의 영상들을 기하학적으로 교정하고 공간적인 합성 등을 통하여 여러 방향의 다양한 시점을 사용자에게 제공하는 다시점 입체 영상 기술들이 개발되고 있다.
본 발명의 기술적 과제는 다시점 입체 영상 데이터 획득 및 재생이 용이한 휴대용 단말기를 제공하는 데 있다.
상기한 기술적 과제를 해결하기 위한 본 발명에 의한 휴대용 단말기는, 영상 데이터를 획득하고자 하는 영역에 대한 2차원 영상 데이터 및 깊이 정보를 획득하는 카메라; 상기 획득된 2차원 영상 데이터 및 깊이 정보를 이용하여 서로 다른 복수의 시점들에 대응되는 복수의 시점 영상 데이터들을 생성하는 다시점영상생성부; 및 상기 생성된 복수의 시점 영상 데이터들을 이용하여 다시점 입체 영상 데이터를 생성하는 영상합성부를 포함하는 것을 특징으로 한다.
상기한 바와 같이 구성되는 본 발명에 따른 휴대용 단말기에 의하면, 깊이 정보 획득이 가능한 깊이 카메라를 구비하여 복잡한 연산을 수행하지 아니하고 용이하게 다시점 입체 영상을 획득 및 재생할 수 있으며, 다시점 입체 영상 데이터의 전송에 소모되는 대역폭 및 시간을 감소시킬 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 휴대용 단말기에 관하여 상세히 설명한다.
도 1은 본 발명에 따른 휴대용 단말기에 구비되는 다시점 입체 영상 획득 및 재생 장치의 구성에 대한 일실시예를 블록도로 도시한 것으로, 상기 휴대용 단말기는 카메라(100), 다시점영상생성부(200), 후처리부(300) 및 영상합성부(400)를 포함할 수 있다.
도 1을 참조하면, 카메라(100)는 영상 데이터를 획득하고자 하는 영역을 촬영하여 상기 영역에 대한 2 차원 영상 데이터 및 깊이 정보를 획득한다.
카메라(100)에 의해 획득되는 상기 2차원 영상 데이터는 상기 촬영 영역의 화소별 휘도 정보 및 색상 정보 또는 R(Red), G(green), B(Blue) 데이터일 수 있다.
또한, 상기 깊이 정보는 영상에 포함된 복수의 화소들 각각에 대해, 상기 화소에 대응되는 피사체 부분과 적외선 카메라(100)의 거리에 대한 정보를 포함하는 매트릭스(matrix) 형태의 깊이-맵(depth-map)으로 표현될 수 있다.
카메라(100)는 적외선을 이용하여 상기 깊이 정보를 획득할 수 있다.
도 2를 참조하여 본 발명에 따른 휴대용 단말기에 구비되는 카메라(100)의 구성에 대한 일실시예를 설명하면, 카메라(100)는 가시광 카메라(10), 적외선 카메라(20) 및 적외선광원(30)을 포함할 수 있다.
가시광 카메라(10)는 입체 영상 데이터를 획득하고자하는 대상 영역으로부터 방출되는 가시광을 촬영하여, 상기 대상 영역에 대한 2차원 영상 데이터, 예를 들어 각 화소에 대한 R(Red), G(green), B(Blue) 데이터를 생성한다.
적외선광원(30)은 상기 입체 영상 데이터를 획득하고자하는 대상 영역 방향으로 적외선을 방출하고, 적외선 카메라(20)는 상기 대상 영역으로부터 나오는 적 외선광을 촬영하여, 상기 대상 영역에 대한 적외선 영상 데이터를 생성한다.
적외선 카메라(20)에 의해 획득된 적외선 영상 데이터로부터 상기 대상 영역에 포함된 피사체의 깊이 정보, 즉 적외선 카메라(20)와 상기 피사체의 각 부분들 사이의 거리에 대한 정보가 획득될 수 있다.
예를 들어, 적외선 카메라(20)에 의해 획득된 적외선 영상 중 밝은 부분은 어두운 부분보다 적외선 카메라(20)에 가까운 부분인 것을 이용하여, 상기 적외선 영상 데이터로부터 피사체의 깊이 정보를 획득할 수 있다.
상기 깊이 정보는 영상에 포함된 복수의 화소들 각각에 대해, 상기 화소에 대응되는 피사체 부분과 적외선 카메라(20)의 거리에 대한 정보를 포함하는 매트릭스(matrix) 형태의 깊이-맵(depth-map)으로 표현될 수 있다.
가시광을 촬영하기 위해, 가시광 카메라(10)는 가시광 패스 필터(pass filter), 예를 들어 RGB 칼라 필터(color filter)가 전면에 부착될 수 있으며, 적외선을 차단하는 적외선 차단 필터(IR-limit filter)가 더 부착될 수 있다.
또한, 적외선광을 촬영하기 위해, 적외선 카메라(20)는 적외선 패스 필터를포함할 수 있다.
다시점영상생성부(200)는 카메라(100)에서 획득된 2차원 영상 데이터와 깊이 정보를 이용하여, 복수의 시점들 각각에 대응되는 복수의 시점 영상 데이터를 생성한다.
즉, 다시점영상생성부(200)는 N개의 시점들 각각에 대해 상기 시점에서 보여지는 2차원 영상에 상응하는 데이터를 생성하여, N개의 시점 영상 데이터를 생성할 수 있다.
상기 N개의 시점은 미리 설정되어 있거나, 사용자의 입력, 휴대용 단말기의 성능 또는 재생 환경 등에 따라 가변될 수 있다.
도 3을 참조하면, 다시점영상생성부(200)는 3차원영상구성부(210) 및 시점영상데이터생성부(220)를 포함할 수 있다.
3차원영상구성부(210)는 상기 획득된 깊이 정보를 이용하여 2차원 영상 데이터를 입체적 형상에 대한 굴곡 정보를 포함하는 3차원 영상 데이터로 변환하여, 촬영된 영역에 대한 3차원 영상을 구성한다.
본 발명에 따른 일실시예로서, 3차원영상구성부(210)는 상기 깊이 정보를 변위 정보(disparity map)로 변환하고, 상기 변위 정보 및 2차원 영상 데이터를 이용하여 3차원 영상을 구성할 수 있다.
3차원영상구성부(210)는 종래의 공지된 3D 워핑(warping) 방법들, 예를 들어 다음의 수학식 1과 같은 맥밀란 방정식(McMillan equation)을 이용하여 상기 3차원 영상을 구성할 수 있다.
Figure 112008005717574-PAT00001
시점영상데이터생성부(220)는 상기 구성된 3차원 영상에 대해 복수의 시점들 각각으로부터 보여지는 2차원 영상 데이터를 생성하여, 상기 복수의 시점들에 대응되는 복수의 시점 영상 데이터를 생성한다.
후처리부(300)는 이 후 다시점 입체 영상 합성을 효율적으로 수행하기 위해,상기 생성된 복수의 시점 영상 데이터들을 보상할 수 있다.
예를 들어, 카메라(100)에서 획득된 데이터에는 깊이 정보의 불연속 지점인 홀(hole) 영역이 존재할 수 있으며, 후처리부(300)는 대해 필터링을 통해 상기 복수의 시점 영상 데이터들의 상기 홀 영역을 제거함으로써 보다 자연스러운 다시점 입체 영상이 합성되도록 할 수 있다.
후처리부(300)는 상기 홀 영역을 주변의 배경 칼라 값 또는 다른 영상의 칼라 값으로 채운 후, 블러링(blurring) 또는 미디안(Median) 필터링(filtering) 등을 수행하여, 상기 홀 영역의 제거할 수 있다.
영상 합성부(400)는 상기 복수의 시점 영상 데이터를 합성하여 다시점 입체 영상 데이터를 생성한다.
또한, 본 발명에 따른 휴대용 단말기는 데이터전송부(500)를 포함할 수 있으며, 데이터전송부(500)는 카메라(100)에서 획득된 2차원 영상 데이터와 깊이 정보를 무선 통신 네트워크 등을 이용해 전송할 수 있다.
도 4는 본 발명에 따른 휴대용 단말기의 구성에 대한 일실시예를 블럭도로 도시한 것이다.
도 4를 참조하면, 본 휴대 단말기는, 무선 통신부(610), A/V(Audio/Video) 입력부(620), 사용자 입력부(630), 센싱부(640), 출력부(650), 메모리(660), 인터 페이스부(670), 제어부(680), 및 전원 공급부(690)를 포함할 수 있다. 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성되거, 일부 구성 요소가 생략될 수도 있다.
무선 통신부(610)는 방송수신 모듈(611), 이동통신 모듈(613), 무선 인터넷 모듈(615), 근거리 통신 모듈(617), 및 GPS 모듈(619) 등을 포함할 수 있다. 상기 카메라(100)에서 획득된 2차원 영상 데이터와 깊이 정보는 무선 통신부(610)를 이용해 다른 휴대용 단말기 또는 무선 인터넷 서버 등으로 전송될 수 있다.
방송수신 모듈(611)은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신한다. 이동통신 모듈(613)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 무선 인터넷 모듈(615)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(615)은 휴대 단말기(600)에 내장되거나 외장될 수 있다. 근거리 통신 모듈(617)은 근거리 통신을 위한 모듈을 말한다.
A/V(Audio/Video) 입력부(620)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(621)와 마이크(623) 등이 포함될 수 있다.
도 1 내지 도 3을 참조하여 설명한 바와 같이, 본 발명에 따른 휴대용 단말기에 구비되는 카메라(621)는 2차원 영상 데이터 및 깊이 정보를 획득할 수 있는 깊이 카메라인 것이 바람직하다.
마이크(623)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로 폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다.
사용자 입력부(630)는 사용자가 단말기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다.
센싱부(640)는 휴대 단말기(600)의 개폐 상태, 휴대 단말기(600)의 위치, 사용자 접촉 유무 등과 같이 휴대 단말기(600)의 현 상태를 감지하여 휴대 단말기(600)의 동작을 제어하기 위한 센싱 신호를 발생시킨다.
출력부(650)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호의 출력을 위한 것으로, 이에는 디스플레이부(651)와 음향출력 모듈(653), 알람부(655) 등이 포함될 수 있다.
메모리(660)는 제어부(680)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
인터페이스부(670)는 휴대 단말기(600)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다.
전원 공급부(690)는 제어부(680)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
제어부(680)는 통상적으로 상기 각부의 동작을 제어하여 휴대 단말기(600)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다.
제어부(680)는 도 1 내지 도 3을 참조하여 설명한 바와 같은 다시점영상생성부(200), 후처리부(300) 및 영상합성부(400)를 포함할 수 있으며, 디스플레이부(651)는 영상합성부(400)로부터 출력되는 다시점 입체 영상을 디스플레이할 수 있다.
이상 본 발명의 바람직한 실시예에 대해 상세히 기술하였지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구범위에 정의된 본 발명의 정신 및 범위에 벗어나지 않으면서 본 발명을 여러 가지로 변형 또는 변경하여 실시할 수 있음을 알 수 있을 것이다. 따라서, 본 발명의 앞으로의 실시예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.
도 1은 본 발명에 따른 휴대용 단말기에 구비되는 다시점 입체 영상 획득 및 재생 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
도 2는 휴대용 단말기에 구비되는 카메라의 구성에 대한 일실시예를 나타내는 사시도이다.
도 3은 도 1의 다시점영상생성부의 구성에 대한 일실시예를 나타내는 블록도이다.
도 4는 휴대용 단말기의 구성에 대한 일실시예를 나타내는 블록도이다.

Claims (6)

  1. 영상 데이터를 획득하고자 하는 영역에 대한 2차원 영상 데이터 및 깊이 정보를 획득하는 카메라;
    상기 획득된 2차원 영상 데이터 및 깊이 정보를 이용하여 서로 다른 복수의 시점들에 대응되는 복수의 시점 영상 데이터들을 생성하는 다시점영상생성부; 및
    상기 생성된 복수의 시점 영상 데이터들을 이용하여 다시점 입체 영상 데이터를 생성하는 영상합성부를 포함하는 것을 특징으로 하는 휴대용 단말기.
  2. 제1항에 있어서, 상기 다시점영상생성부는
    상기 2차원 영상 데이터 및 깊이 정보를 이용하여 3차원 영상을 구성하는 3차원영상구성부; 및
    상기 구성된 3차원 영상에 기초하여 상기 복수의 시점 영상 데이터를 생성하는 시점영상데이터생성부를 포함하는 것을 특징으로 하는 휴대용 단말기.
  3. 제2항에 있어서, 상기 3차원영상구성부는
    상기 깊이 정보를 변위 정보로 변환하고, 상기 변위 정보를 이용하여 상기 3차원 영상을 구성하는 것을 특징으로 하는 휴대용 단말기.
  4. 제1항에 있어서,
    상기 생성된 복수의 시점 영상 데이터들을 보정하여 상기 데이터 합성부로 출력하는 후처리부를 더 포함하는 것을 특징으로 하는 휴대용 단말기.
  5. 제4항에 있어서, 상기 후처리부는
    상기 복수의 시점 영상 데이터들의 불연속 영역을 보상하는 것을 특징으로 하는 휴대용 단말기.
  6. 제1항에 있어서,
    상기 획득된 2차원 영상 데이터 및 깊이 정보를 전송하는 데이터전송부를 더 포함하는 것을 특징으로 하는 휴대용 단말기.
KR1020080007148A 2008-01-23 2008-01-23 휴대용 단말기 KR20090081190A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080007148A KR20090081190A (ko) 2008-01-23 2008-01-23 휴대용 단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080007148A KR20090081190A (ko) 2008-01-23 2008-01-23 휴대용 단말기

Publications (1)

Publication Number Publication Date
KR20090081190A true KR20090081190A (ko) 2009-07-28

Family

ID=41292203

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080007148A KR20090081190A (ko) 2008-01-23 2008-01-23 휴대용 단말기

Country Status (1)

Country Link
KR (1) KR20090081190A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011046856A2 (en) * 2009-10-13 2011-04-21 Sony Corporation 3d multiview display
WO2011105812A3 (ko) * 2010-02-23 2012-01-12 삼성전자주식회사 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법
US9552644B2 (en) 2014-11-17 2017-01-24 Samsung Electronics Co., Ltd. Motion analysis method and apparatus

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011046856A2 (en) * 2009-10-13 2011-04-21 Sony Corporation 3d multiview display
WO2011046856A3 (en) * 2009-10-13 2011-08-18 Sony Corporation 3d multiview display
WO2011105812A3 (ko) * 2010-02-23 2012-01-12 삼성전자주식회사 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법
US9369690B2 (en) 2010-02-23 2016-06-14 Samsung Electronics Co., Ltd. Apparatus and method for generating 3D image data in a portable terminal
US9552644B2 (en) 2014-11-17 2017-01-24 Samsung Electronics Co., Ltd. Motion analysis method and apparatus

Similar Documents

Publication Publication Date Title
CN111476911B (zh) 虚拟影像实现方法、装置、存储介质与终端设备
CN113422903B (zh) 拍摄模式切换方法、设备、存储介质
US7889192B2 (en) Mobile equipment with three dimensional display function
US9536479B2 (en) Image display device and method
JP5655174B2 (ja) 画像処理装置、撮像装置および画像処理方法
KR20100084718A (ko) 3차원 이미지를 생성하는 휴대 단말기
CN106228530B (zh) 一种立体摄影方法、装置及立体摄影设备
US20150206338A1 (en) Display device, display method, and program
JP2013025649A (ja) 画像処理装置及び画像処理方法、プログラム
JPWO2013146041A1 (ja) 画像処理装置及び方法並びに撮像装置
KR20150091064A (ko) 단일의 카메라를 이용하여 3d 이미지를 캡쳐하는 방법 및 시스템
WO2016072238A1 (ja) 画像処理装置、画像表示装置、画像処理方法及び画像表示方法
JPWO2013145820A1 (ja) 撮影装置、方法、記憶媒体及びプログラム
KR20090081190A (ko) 휴대용 단말기
KR20120054746A (ko) 휴대용 단말기에서 입체 이미지를 생성하기 위한 장치 및 방법
JP4230331B2 (ja) 立体視画像生成装置および画像配信サーバ
CN111325786B (zh) 图像处理方法及装置、电子设备和存储介质
US20240046560A1 (en) Three-Dimensional Model Reconstruction Method, Device, and Storage Medium
KR100703713B1 (ko) 3차원 영상 획득 및 디스플레이가 가능한 3차원 모바일 장치
CN115176282A (zh) 图像处理装置、生成3d模型的方法、学习方法以及程序
CN107426522B (zh) 基于虚拟现实设备的视频方法和系统
JP4632060B2 (ja) 画像記録装置、方法およびプログラム
CN113890984B (zh) 拍照方法、图像处理方法和电子设备
JP6916896B2 (ja) 情報処理装置および画像生成方法
WO2021240056A1 (en) Method and system for supporting 3d perception from monocular images

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid