KR101172507B1 - 시점 조정 3차원 영상 제공 장치 및 방법 - Google Patents
시점 조정 3차원 영상 제공 장치 및 방법 Download PDFInfo
- Publication number
- KR101172507B1 KR101172507B1 KR1020100031978A KR20100031978A KR101172507B1 KR 101172507 B1 KR101172507 B1 KR 101172507B1 KR 1020100031978 A KR1020100031978 A KR 1020100031978A KR 20100031978 A KR20100031978 A KR 20100031978A KR 101172507 B1 KR101172507 B1 KR 101172507B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- viewpoint
- information
- interest
- viewer
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 17
- 238000009877 rendering Methods 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 description 7
- 210000001747 pupil Anatomy 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 208000003464 asthenopia Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010019233 Headaches Diseases 0.000 description 1
- 206010047700 Vomiting Diseases 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000008673 vomiting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 시청자의 시점 정보를 검출하는 시점 추정부와, 3차원 영상 정보로부터 깊이에 따른 영상 정보를 생성하는 3차원 영상 생성부와, 3차원 영상을 디스플레이하는 디스플레이부와, 상기 시점 추정부로부터 검출된 사용자 시점 정보에 따라, 시청자의 관심 객체를 검출하고, 상기 3차원 영상 생성부로부터 입력되는 상기 관심 객체의 깊이 정보에 매핑되는 3차원 영상을 검출하여 상기 디스플레이부로 출력하는 랜더링부를 포함하여 구성된다.
Description
본 발명은 영상 제공 장치 및 방법에 관한 것으로, 특히 3차원 영상을 제공하기 위한 장치 및 방법에 관한 것이다.
3차원 영상 처리 기술은 정보 산업 사회로의 발달과 더불어 수요 및 기술개발이 치열한 최첨단 기술이다. 이러한 3차원 영상 처리 기술은 멀티미디어 응용에서 고품질의 영상 서비스를 제공하기 위해 필수적인 요소인데, 오늘날에는 방송, 의료, 교육(또는 훈련), 군사, 게임, 애니메이션, 가상 현실 등 그 응용 분야가 매우 다양화되고 있다.
우리가 실세계에서 입체감을 얻기 위해서 눈의 초점과 시점을 능동적으로 조절한다. 기존의 3차원 영화에서는 초점과 시점이 미리 설정되어, 우리가 눈의 시점과 초점을 이미 설정되어 있는 초점과 시점에 수동적으로 맞추어야 입체감을 얻게 된다.
그런데, 전술한 바와 같이 시청자가 눈의 초점과 시점을 미리 고정되어 있는 시점과 초점에 장기간 맞추다 보면 영상을 보는 눈의 수렴각과 초점 사이의 불일치가 존재하여 시각 피로감이 커질 수 있다. 심할 경우에는 두통, 멀미 등의 증상이 나타나기도 한다. 이러한 부작용을 방지하고자 시점과 초점의 변화를 줄이는 방법이 있으나, 이러한 경우 영상의 3차원 입체 효과가 줄어들게 된다는 단점이 있다.
따라서, 본 발명은 상술한 바와 같은 문제점을 극복하기 위해 시점과 초점의수동성을 극복한 시점 조정 3차원 영상 제공 장치 및 방법을 제공함에 목적이 있다.
또한, 본 발명은 시청자의 피로감없이 입체감을 제공할 수 있는 시점 조정 3차원 영상제공 장치 및 방법을 제공함에 목적이 있다.
상기한 목적을 달성하기 위한 본 발명의 일 실시 예는 시청자의 시점 정보를 검출하는 시점 추정부와, 3차원 영상 정보로부터 깊이에 따른 영상 정보를 생성하는 3차원 영상 생성부와, 3차원 영상을 디스플레이하는 디스플레이부와, 상기 시점 추정부로부터 검출된 사용자 시점 정보에 따라, 시청자의 관심 객체를 검출하고, 상기 3차원 영상 생성부로부터 입력되는 상기 관심 객체의 깊이 정보에 매핑되는 3차원 영상을 검출하여 상기 디스플레이부로 출력하는 랜더링부를 포함하여 구성된다.
본 발명의 다른 실시 예는 시청자의 시점 정보를 검출하는 단계와, 상기 검출된 사용자 시점 정보에 따라, 시청자의 관심 객체를 검출하고, 상기 3차원 영상 생성부로부터 입력되는 상기 관심 객체의 깊이 정보에 매핑되는 3차원 영상을 검출하는 단계와, 상기 검출된 3차원 영상을 디스플레이부로 출력하는 단계를 포함하여 구성된다.
본 발명은 사용자에게 3차원 영상을 제공함에 있어 시청자의 피로감, 구토 등의 부작용 없이 3차원 입체감을 제공할 수 있다는 장점이 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 시점 조정 3차원 영상 제공 장치의 구성도이다.
도 2 및 3은 3차원 영상의 수직적 시차를 설명하기 위한 도면이다.
도 4는 3차원 영상의 수직적 시차를 설명하기 위한 다른 도면이다.
도 5는 본 발명의 바람직한 실시 예에 따른 시점 조정 3차원 영상 제공 방법을 설명하기 위한 순서도이다.
도 2 및 3은 3차원 영상의 수직적 시차를 설명하기 위한 도면이다.
도 4는 3차원 영상의 수직적 시차를 설명하기 위한 다른 도면이다.
도 5는 본 발명의 바람직한 실시 예에 따른 시점 조정 3차원 영상 제공 방법을 설명하기 위한 순서도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명을 설명하기에 앞서, 명세서 전반에 걸쳐 사용되는 용어들은 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명에서는 시점과 초점의 수동성을 극복하여 3차원 영상을 시청할 경우에 시청자의 시점과 초점을 추정하여, 이와 일치하는 영상을 생성하여 출력하는 장치 장치 및 방법을 제안한다.
도 1은 본 발명의 바람직한 실시 예에 따른 시점 조정 3차원 영상 제공 장치의 구성 블록도이다.
시점 추정부(110)는 3차원 컨텐츠를 시청하는 시청자의 초점과 시점을 추정하여, 그 추정 정보를 출력한다.
시점 추적 기술 및 시점 방향 추출 기술은 HCI(Human Computer Interface) 분야에서 각광받고 있는 기술로, 눈 주위의 전극을 이용하는 EOG(Electro-Oculographic Potential) 방식, 광원의 위치에 따라 동공의 밝기가 변함을 이용하는 흑백 동공 방식, 광원이 각막에 반사되는 점을 이용하는 동공 및 각막 반사 방식 등이 적용될 수 있다. 또는 헤드트랙커 또는 스테레오 카메라 등을 이용해서 실제 사용자의 3차원 위치를 알아내어 3차원 시선 벡터를 추출해내는 기술 등이 있을 수 있다.
이러한 시점 추정부(110)의 일 예로 양안 이미지를 포함하는 영상을 입력받아, 입력된 영상으로부터 동공의 중심점을 추출하고, 추출된 동공의 중심점 사이의 거리를 이용하여 양안 수렴 구간에 따른 3차원 깊이를 추출한다.
3차원 영상 생성부(120)는 3차원 영상 내에서 각 객체들의 3차원 깊이에 따른 하나 이상의 3차원 영상을 생성하여, 생성된 3차원 영상과 그에 따른 깊이 정보를 매핑시켜 랜더링부(130)에 제공한다.
3차원 영상을 생성하기 위해서는 좌안과 우안에서 발생하는 수평적 시차에 따른 스테레오 이미지와, 3차원 장면 정보에서 객체들이 위치한 깊이에 따른 수직적 시차 정보가 요구된다.
스테레오 이미지는 양안 시차를 갖는 두 2차원 영상을 사람의 양눈에 각각 분리하여 보여줌으로써 입체감을 유발시킨다. 이 방식은 2개의 평면 영상을 사용하므로 구현이 간단하고 높은 해상도와 큰 깊이감을 갖는 3차원 영상을 디스플레이할 수 있다.
3차원 장면 정보는 이미지들 및 대응하는 깊이 맵들에 의해 표현되는데, 각 화소에는 대응 장면 포인트에서 카메라까지의 거리를 나타내는 깊이 값이 부속됨을 의미한다. 이러한 3차원 장면을 시점 방향으로 위에서 내려다보면, 도 2에 도시된 바와 같이 각 화소는 수직적 시차(disparity)를 가지게 됨을 알 수 있다.
도 2를 참조하면, 3차원 장면 정보에 4 개의 객체가 포함되어 있음을 알 수 있는데, 본 발명에서는 도 3에 표시된 바와 같이 이러한 각 객체를 한 평면(Layer)에 포함된 것으로 가정하여 객체들의 깊이 정보를 추정해낸다. 그러면, 3차원 영상 생성부(120)는 3차원 영상에서 객체들이 포함되어 있는 평면들 각각에 대한 깊이 값을 추정하고, 각 깊이 값에 따른 3차원 영상 정보를 생성한다.
도 4을 참조하면, 3차원 영상 생성부(120)은 시청자에게 제공될 3차원 영상을 수직적으로 바라보았을 때, 사람(210), 가로등(220), 배경이 되는 산(230) 등을 평면으로 가정한다. 그리고, 시청자가 좌안 및 우안이 이루는 각도에 따른 깊이에 따라 각 객체를 포함하는 평면들을 바라보았을 때의 3차원 영상들을 생성한다. 즉, 3차원 영상 생성부(120)은 사람(120)을 뷰포인트로 할 때의 3차원 영상, 가로등(220)을 뷰포인트로 할 때의 3차원 영상 및 배경이 되는 산(230)을 뷰포인트로 할 때의 3차원 영상을 모두 미리 생성해놓는다.
랜더링부(130)는 시점 추정부(110)로부터 입력되는 시점 정보를 수신하고, 3차원 영상 생성부(120)로부터 입력되는 3차원 영상들 중 상기 시점 정보에 상응하는 3차원 영상을 디스플레이부(140)에 출력한다.
이러한, 랜더링부(130)는 상세하게는 깊이 정보 검출 모듈(131), 3차원 영상 선택 모듈(132), 3차원 영상 출력 제어 모듈(133)로 구성될 수 있다.
깊이 정보 검출 모듈(131)은 시점 추정부(110)로부터 입력되는 시점 정보에따라 뷰포인트인 관심 객체의 깊이 정보를 검출해낸다. 그리면, 평면으로 구분되는 3차원 영상 중, 시청자가 어떠한 평면을 보고 있는지를 검출해낼 수 있다.
3차원 영상 선택 모듈(132)은 상기 깊이 정보 검출 모듈(131)이 검출해낸 관심 객체에 상응하는 3차원 영상 정보를 상기 3차원 영상 생성부(120)로부터 입력되는 정보로부터 검출해낸다.
3차원 영상 출력 제어 모듈(133)은 상기 검출된 3차원 영상 정보를 좌안과 우안의 수평적 시차와, 관심 객체의 깊이에 따른 수직적 시차로 표현될 수 있도록 디스플레이부(140)에 출력 제어한다. 이때, 상기 검출된 3차원 영상에서 배경등과 같은 사용자가 주목하지 않는 부분을 블러링 처리하여 출력할 수도 있다. 즉, 시청자가 관심없는 영역은 블러링을 하여 3차원 효과를 증강시키면서, 눈의 피로를 감소시켜 줄 수 있다. 그런데, 이러한 블러링 처리는 3차원 영상 생성부(120)에 의해 수행될 수도 있다.
디스플레이부(133)은 3차원 영상 출력 제어 모듈(133)로부터 출력되는 3차원 영상을 출력한다. 이때, 디스플레이부(133)는 좌안 출력 이미지와 우안 출력 이미지의 스테레오 쌍을 시간 다중화 출력할 수 있고, 도면에는 도시되어 있지 않지만, 편광에 기반을 둔, 수동 안경(passive glasses)과 조합한 전기-광학 스위치를 구비하여, 3차원 시각화를 할 수 있게 한다. 그리고, 상기 디스플레이부(133)은 3D TV일 수도 있으나, 게임 디바이스와 같은 헬멧 형태의 개인용 디바이스일 수도 있다.
도 5는 본 발명의 바람직한 실시 예에 따른 시점 조정 3차원 영상 제공 방법을 설명하기 위한 순서도이다.
우선, 시청자로부터 3차원 영상 시청이 개시되면, 시점 추정부는 410 단계에서 시청자의 양안 시점을 실시간으로 추정해낸다. 그리고, 시점 추정부는 420 단계에서 상기 추정된 시점에 따른 깊이 정보를 추출해낸다.
그리고, 랜더링부는 430 단계에서 상기 깊이 정보에 매핑된 미리 저장되어 있는 3차원 영상을 검출한다. 즉, 전술한 바와 같이 시점 정보에 따라 시청자가 관심을 가지는 객체가 3차원 영상을 구성하는 수직적 평면 중 어떤 평면에 포함되어 있는지를 판단하고, 그에 따른 3차원 영상을 검출해내는 것이다.
그리고, 440 단계에서 블러링 설정되어 있는지를 판단한다. 상기 440 단계의 판단 결과 블러링 설정되어 있을 경우, 랜더링부는 450 단계에서 배경을 블러링 처리한다. 그런데, 여기서는 블러링이 선택적으로 처리되는 것으로 설명하고 있으나, 3차원 영상 생성부에 의해 시청자의 시점에 따라 제공될 3차원 이미지에 미리 블러링 처리될 수도 있다.
그리고, 460 단계에서 랜더링부는 시청자의 시점에 따라 조정된 3차원 이미지를 디스플레이 장치에 출력한다.
110 : 시점 추정부 120 : 3차원 영상 생성부
130 : 랜더링부 131 : 깊이 정보 검출 모듈
132 : 3차원 영상 선택 모듈 133 : 3차원 영상 출력 제어 모듈
140 : 디스플레이 모듈
130 : 랜더링부 131 : 깊이 정보 검출 모듈
132 : 3차원 영상 선택 모듈 133 : 3차원 영상 출력 제어 모듈
140 : 디스플레이 모듈
Claims (5)
- 시청자의 시점 정보를 검출하는 시점 추정부와,
3차원 영상에 포함된 객체들을 하나의 평면으로 가정하여, 객체별 깊이 정보에 따른 영상 정보를 생성하는 3차원 영상 생성부와,
3차원 영상을 디스플레이하는 디스플레이부와,
상기 시점 추정부로부터 검출된 사용자 시점 정보에 따라, 시청자의 관심 객체를 검출하고, 상기 3차원 영상 생성부로부터 입력되는 상기 관심 객체의 깊이 정보에 매핑되는 3차원 영상을 검출하여 상기 디스플레이부로 출력하는 랜더링부를 포함하여 구성됨을 특징으로 하는 시점 조정 3차원 영상 제공 장치.
- 제 1항에 있어서, 상기 랜더링부는
상기 검출된 3차원 영상에서 관심 객체를 제외한 부분은 블러링 처리함을 특징으로 하는 시점 조정 3차원 영상 제공 장치.
- 삭제
- 시청자의 시점 정보를 검출하는 단계와,
검출된 사용자 시점 정보에 따라, 시청자의 관심 객체를 검출하고, 관심 객체의 깊이 정보에 매핑되는 3차원 영상에 포함된 객체들을 하나의 평면으로 가정하여 3차원 영상을 검출하는 단계와,
상기 검출된 3차원 영상을 디스플레이하는 단계를 포함하여 구성됨을 특징으로 하는 시점 조정 3차원 영상 제공 방법.
- 제 4항에 있어서,
상기 검출된 3차원 영상에서 관심 객체를 제외한 부분은 블러링 처리하는 단계를 더 포함함을 특징으로 하는 시점 조정 3차원 영상 제공 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100031978A KR101172507B1 (ko) | 2010-04-07 | 2010-04-07 | 시점 조정 3차원 영상 제공 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100031978A KR101172507B1 (ko) | 2010-04-07 | 2010-04-07 | 시점 조정 3차원 영상 제공 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110112705A KR20110112705A (ko) | 2011-10-13 |
| KR101172507B1 true KR101172507B1 (ko) | 2012-08-14 |
Family
ID=45028313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100031978A KR101172507B1 (ko) | 2010-04-07 | 2010-04-07 | 시점 조정 3차원 영상 제공 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101172507B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101741149B1 (ko) | 2015-11-27 | 2017-05-30 | 광운대학교 산학협력단 | 가상 카메라의 시점 제어 방법 및 장치 |
| US10419736B2 (en) | 2014-12-01 | 2019-09-17 | Samsung Electronics Co., Ltd. | Method and apparatus for generating three-dimensional image |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102332920B1 (ko) | 2021-06-24 | 2021-12-01 | 주식회사 맥스트 | 6 자유도 가상현실의 렌더링 시스템 및 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100651104B1 (ko) | 2005-07-01 | 2006-11-30 | 한국과학기술연구원 | 시선기반 컴퓨터 인터페이스 장치 및 방법 |
-
2010
- 2010-04-07 KR KR1020100031978A patent/KR101172507B1/ko not_active IP Right Cessation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100651104B1 (ko) | 2005-07-01 | 2006-11-30 | 한국과학기술연구원 | 시선기반 컴퓨터 인터페이스 장치 및 방법 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10419736B2 (en) | 2014-12-01 | 2019-09-17 | Samsung Electronics Co., Ltd. | Method and apparatus for generating three-dimensional image |
| KR101741149B1 (ko) | 2015-11-27 | 2017-05-30 | 광운대학교 산학협력단 | 가상 카메라의 시점 제어 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110112705A (ko) | 2011-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3035681B1 (en) | Image processing method and apparatus | |
| TWI508519B (zh) | An image processing apparatus, a program, an image processing method, a recording method, and a recording medium | |
| US9451242B2 (en) | Apparatus for adjusting displayed picture, display apparatus and display method | |
| US11659158B1 (en) | Frustum change in projection stereo rendering | |
| CN108885339B (zh) | 用于使用自适应焦平面渲染虚拟现实的配置 | |
| US9754379B2 (en) | Method and system for determining parameters of an off-axis virtual camera | |
| JP2007052304A (ja) | 映像表示システム | |
| US9681122B2 (en) | Modifying displayed images in the coupled zone of a stereoscopic display based on user comfort | |
| US11736674B2 (en) | Dynamic convergence adjustment in augmented reality headsets | |
| US11956415B2 (en) | Head mounted display apparatus | |
| JP2010259017A (ja) | 表示装置、表示方法、および表示プログラム | |
| KR101172507B1 (ko) | 시점 조정 3차원 영상 제공 장치 및 방법 | |
| US20170257614A1 (en) | Three-dimensional auto-focusing display method and system thereof | |
| Cheng et al. | 51.3: An Ultra‐Low‐Cost 2‐D/3‐D Video‐Conversion System | |
| JP5528162B2 (ja) | 画像処理装置および画像処理方法 | |
| CN105100769B (zh) | 一种视觉特效图像或视频对的生成方法及装置 | |
| Lee et al. | Eye tracking based glasses-free 3D display by dynamic light field rendering | |
| Rhee et al. | Stereo image synthesis by view morphing with stereo consistency | |
| WO2017222665A3 (en) | Presentation of scenes for binocular rivalry perception | |
| Li et al. | General stereoscopic distortion rectification due to arbitrary viewer motion in binocular stereoscopic display | |
| US11921295B1 (en) | Eyewear with lenses for reduced discrepancy between accommodation and convergence | |
| KR101894092B1 (ko) | 입체영상 자막처리방법과 이를 이용한 자막처리부 | |
| KR101704033B1 (ko) | 입체영상의 출력 방법 | |
| KR20180108314A (ko) | 사용자 인터렉션 정보를 반영하여 입체영상을 재생하는 방법 및 장치 | |
| Shen et al. | 3-D perception enhancement in autostereoscopic TV by depth cue for 3-D model interaction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20150723 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20160728 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |