KR20180099756A - 2차원 영상의 입체 영상화 표시장치 - Google Patents

Abstract

(과제) 종래 형식의 2차원 영상 방송파를 수신해서 3차원 영상화해서 표시하는 입체화 영상 표시장치를 제공한다.
(해결 수단) 2차원 영상 수신부(1), 프레임 선택부(2), 다시점 영상 신호 생성부(3), 입체 영상 표시부(4), 입체 영상 표시부(5)로 구성되고, 2차원 영상 방송을 수신하고, 동영상을 형성하는 기준 프레임에 대하여 소정 시간을 둔 참조 프레임을 선정하고, 기준 프레임과 참조 프레임으로부터 생성하는 깊이 정보를 다시점 영상으로서 형성하고, 양자 간에서 발생하는 운동 시차를 양안 시차에 대응시켜고, 입체 영상 표시부에서 3차원 영상을 표시하는 2차원 영상의 입체 영상화 표시장치이다.

Description

2차원 영상의 입체 영상화 표시장치

본 발명은 텔레비전 방송 등의 2차원 영상을 입체 영상화해서 표시하는 장치에 관한 것이다.

최근 3D 영상 기술이 급속하게 진전되어 와서 여러 가지 국면에서 3D 영상을 이용할 수 있도록 되어 왔다. 영화뿐만 아니라 전시회나 학술 강연회 등에서도 실물에 대한 재현성이 높은 3D 영상을 사용하는 장면이 증가되었다.

또한, 입체 영상 방송도 일부의 민방, CATV(케이블 텔레비전), IPTV(인터넷 프로토콜을 사용한 텔레비전 방송) 등에서, 평면 영상 방송파에 의해 입체 영상 신호를 송신해서 3D 수상기에 영상을 표시시키는 방식을 이용하여 시행되고 있다.

통상, 입체 영상은 종래의 평면 영상 방송과 마찬가지로 취급하는 사이드 바이 사이드의 영상 신호 또는 좌안 우안의 LR2 스트림 영상 신호를 사용한 2 시차 입체 표기 방식에 의한 표시가 행해진다. 표시면에 비추어진 LR 영상은 스크린 입체 안경에 의해 관찰함으로써 입체 영상이 된다. 또한, 영상 표시장치에 렌티큘러 렌즈 등을 이용하여 나안으로 입체시를 할 수 있는 장치도 개발되어 있다.

입체 텔레비전 방송은 촬영 기재, 수상 장치의 문제 이외에, 시청자와 화상표시장치의 위치 관계에 근거하는 최적 조정의 문제나, 방송 사업자의 새로운 투자(경비) 등 해결하지 않으면 안되는 과제가 남아있어서, 즉시 보급을 도모할 상태가 아니다.

그러나, 뉴스 정보를 비롯한 리얼 타임의 정보를 실제감 넘치는 3차원의 입체 영상을 통해서 시청자에게 전하는 것은 방송자에 있어서도 강한 요망이다.

또한, 입체 텔레비전 방송 전용으로 방송파를 증가시키는 것은 현재의 상태에서는 곤란하기 때문에, 현행의 2D 방송파에 시간을 할당해서 3D 방송을 행하는 방법이나, 2D 방송파 중에 3D 영상 정보를 중첩시키는 방법 등이 제안되어 있다.

3D 방송 시간을 할당시키는 방법은 3D 방송 중에는 2D 전용기로는 시청할 수 없어서, 3D 수상기를 갖지 않은 자에게 불이익을 준다. 또한, 3D 영상 정보를 중첩하는 방법에서도 사전 제작, 후반 제작, 연주소 설비, 전송 설비, 방송소 설비 등을 전국에 걸쳐 전면적으로 교체할 필요가 있어서, 방송 사업자에게 있어서 경영상의 곤란이 크다.

또한, 3D 수상기가 충분히 보급될 때까지는 3D 영상만의 방송으로는 사업성이 없다고 생각되어, 3D 수상기에 의해 일반적인 2D 방송을 시청할 수 있는 것이 소망되고 있다.

특허문헌 1에는 평면 화상을 입체 화상화해서 표시하는 기술이 개시되어 있다. 좌우 화상을 소정의 시간 간격으로 교대로 제시함으로써 입체감을 부여할 수 있다고 하는 지견에 근거하는 것이다.

특허문헌 1에 개시된 발명은 평면 화상의 본래 화상로부터 깊이가 동일한 위치의 윤곽을 잘라내고, 이것을 실공간과 대응시킨 화상 공간의 레이어에 배치함으로써 윤곽을 등고선 형상으로 포갠 입체 지도와 같이 해서, 가상 카메라에 의해 우안 화상 정보와 좌안 화상 정보를 형성하고, 얻어진 우안 화상 정보와 좌안 화상 정보를 0.033초~0.3초로 교대로 스위칭해서 표시함으로써, 양안 시차에 의한 입체감을 실현하고, 운동 시차(motion parallax)에 의해 입체감을 강조하도록 했다고 설명하고 있다. 좌우 화상의 스위칭은 눈의 잔상 효과를 이용하기 위해서 적절한 시간 간격으로 행해진다.

특허문헌 1에 개시된 발명에 의해 평면 화상을 가공해서 입체감을 부여하는 정지 화면상으로서 제시할 수 있지만, 이대로는 축차적으로 동영상을 입체화하는 것이 불가능하여, 텔레비전 방송되는 영상을 기초로 해서 입체 영상화하는 것은 곤란하다.

일본 특허공개 2008-153805호 공보

하야시베 케이키치 「심리학에 있어서의 3차원시 연구의 동향: 2006」시즈오카대학 정보학 연구. 12, pp. 31-55, 2007/06/26 시라이와 아야, 하야시 타케후미 「운동 시차로부터의 깊이 지각에 있어서의 안구 운동의 역할」간사이대학 정보학부 정기 간행물 [정보 연구] 제 31 호, 2009/07

본원발명이 해결하려는 과제는 종래 형식의 2차원 영상 방송파를 수신해서 3차원 영상화해서 표시하는 텔레비전 수상기를 제공하는 것이다. 또한, 3차원 영상화하지 않을 때에는 2차원 영상을 표시할 수 있는 텔레비전 수상기를 제공하는 것이다.

본 발명에 따른 2차원 영상의 입체 영상화 표시장치는 2차원 영상 수신부, 프레임 선택부, 다시점 영상 신호 생성부, 입체 영상 표시부로 구성되고, 2차원 영상 수신부에서 2차원 영상 방송을 수신하고, 프레임 선택부에서 동영상을 형성하는 기준 프레임에 대하여 소정 시간을 둔 참조 프레임을 선정하고, 다시점 영상 신호 생성부에서 기준 프레임과 참조 프레임을 화소 수준으로 비교해서 화소 영역의 시간적 어긋남을 산출해서 속도 벡터로 하고, 이것을 기준 프레임에서 발생하는 운동 시차로 해서 양안 시차에 대응시키고, 기준 프레임에 있어서의 운동 시차에 의거하여 깊이 정보를 생성하고, 이것을 기원으로 하여 다시점 영상을 형성하고, 또한 입체 영상 표시부에서 이 다시점 영상 신호를 나안 입체 영상 표시기에 입력해서 3차원 영상을 표시한다.

나안 입체 표기 방식에 의할 경우에는, 렌티큘러 렌즈 패널 등을 사용한 입체 영상 표시장치에 생성한 다수의 다시점 영상을 공급함으로써 나안으로 입체 영상을 볼 수 있다.

또한, 이안식 입체 표기 방식에 의할 경우에는, 좌우안 시차 화상에 의해 입체시하는 입체 영상 표시장치를 사용하고, 복수의 시점 영상으로부터 깊이의 보임을 고려하여, 적당한 시간 간격을 가진 시점 영상을 선택해서 좌우의 눈에 각각 제공한다. 선택한 시점 영상의 신호를 입체 영상 표시장치에 입력하고, 일방의 눈에 일방의 시점 영상을, 타방의 눈에 타방의 시점 영상을 공급함으로써 입체 표시가 가능하게 된다.

대상물이 정지하고 있을 경우의 2차원 영상에서는 양안으로 이것을 볼 때의 폭주각은 화면 위치를 볼 때와 동일하고, 대상물은 화면 표면과 동일한 깊이에 위치하게 보인다. 그러나, 대상물이 운동하고 있을 때에는 기준 프레임과 이것에 대하여 시간적 어긋남을 가진 참조 프레임 사이에서 운동 시차가 생기고, 이것을 활용함으로써 화면 중의 위치가 다른 양안 시차에 대응시킬 수 있어서, 복수의 시점 영상을 일방의 눈에, 다른 다시점 영상을 타방의 눈에 부여하면, 실세계에 있어서 양안으로 대상물을 볼 때의 광을 재현할 수 있어 대상물의 영상은 화면 표면과는 다른 깊이 위치에 있는 듯이 보여서, 현실에 가까운 입체감이 생긴다.

이렇게 샘플링한 광에 의해 재생된 시점 영상에 의하면, 마치 현실의 광경을 보고 있는 것과 같은 시각 효과를 얻을 수 있다. 우안과 좌안에는 다른 2개 이상의 시점 영상(광선 재생광)이 들어가는 것이 바람직하여 표시 패널의 성능에 의존하게 된다. 패널의 성능을 높여서 보다 많은 영상을 부여하도록 하면, 보다 높은 시각 효과를 얻을 수 있다. 종래의 렌티큘러 방식의 나안 입체시는 샘플링수가 적은 경우에 해당된다.

또한, 사람의 시각 시스템이 깊이 지각을 구성하는 요소는 시계열에 발생하는 영상에 따른 양안 시차(공간적 어긋남)와, 운동 시차(시간적 어긋남), 또한 선험적 지식 요인 등이라고 생각되고 있다. 운동 시차는 망막 상의 상대적인 「시간적 어긋남량」에 근거해서 얻어지는 시차 정보이며, 깊이·운동 지각을 부여하는 것이 알려져 있다. 본 발명자 등은 비특허문헌 1에 기재되어 있는 풀프리히 효과(Pulfrich Effect) 현상의 진인을 밝혀내고, 그것을 활용함으로써 운동 시차를 양안 시차에 대응시킬 수 있는 것을 발견했다. 본래, 사람이 가지고 있는 시각 시스템이 행하는 입체시 처리를 유효하게 활용함으로써 본 발명이 이루어진 것이다. 본원발명에 있어서, 시간적 어긋남을 공간적 어긋남으로 변환하는 처리에 의해 양안 시차로 변환한 3D 정보로서 시각 시스템에 부여함으로써, 사람에 깊이 지각을 일으킬 수 있다.

본 발명의 입체 영상화 표시장치는 기준 프레임에 부여되는 운동 시차에 의거하여 화면 중의 위치가 다른 시간적 어긋남을 공간적 어긋남에 대응시킴으로써, 다시점 영상을 생성하여 좌우안 망막 상에 제시한다. 시청 위치에 대응한 망막 상의 영상의 어긋남에 근거한 양안 시차에 의해 깊이감을 부여함으로써, 양안 시차와 운동 시차, 및 선험적 지식 요인의 가산적 협동 작용에 의해 깊이 지각을 보다 강조한 입체감을 생성시킬 수 있다.

본 발명에 관한 2차원 영상의 입체 영상화 표시장치는 2차원 영상 방송의 동영상을 형성하는 프레임에서 선택한 기준 프레임과 참조 프레임에 의거하여 복수의 시점 영상 신호를 생성해서 입체 영상 표시기에 3차원 영상을 표시함으로써, 적어도 2차원 영상 방송의 영상 중에서 위치에 변화가 있는 대상에 대해서는 적극적으로 입체화 표시하므로, 사람은 나안으로 입체 영상을 즐길 수 있다. 또한, 사람은 한번 입체시를 체험함으로써 숙지적 요인이 기능하여 입체시를 가능하게 하는 시각 시스템이 존재하기 때문에(일례가 할로우 페이스(Hollow Face) 효과), 입체시화하는 대상이 넓어지게 된다.

본 발명의 입체 영상화 표시장치는 프레임 동기부를 구비하고, 기준 프레임과 참조 프레임, 및 새롭게 생성되는 깊이 정보 매트릭스(깊이 영상)와 거기에서 생성되는 다시점 영상은 각각의 영상 화면을 동기화해서 동일한 타이밍에서 제시하도록 하는 것이 바람직하다.

본 발명의 입체 영상화 표시장치는 동작 벡터 산정부와 깊이량 제어부를 구비하고, 입체 영상에 나타내는 깊이량을 적당하게 조정할 수 있도록 할 수 있다.

동작 벡터 산정부는 화상 중에 표시된 각 요소에 대해서 기준 프레임과 참조 프레임에 있어서의 위치를 추적해서 양 프레임 간의 화소 영역에 있어서의 이동량을 산출하여 요소의 동작 벡터를 산정한다.

깊이량 제어부는 바람직한 깊이 표시에 적합한 기준 프레임과 참조 프레임 간의 프레임차(n)를 선택해서 지정한다.

입체 영상 표시기에 사용하는 나안 입체 표시 패널은 통상 그 자체가 패널면을 기준으로 해서 전면측으로 Ncm, 후면측으로 Fcm의 깊이 표시 능력을 갖고 있다. 표시장치의 용도에 따라서 이 깊이 표시 능력을 어떻게 활용할지가 결정된다. 예를 들면, 입체 영상의 박력을 중시하는 엔터테인먼트 등의 용도에는 전 영역의 활용을 도모하는 것이 좋다. 그러나, 의료용에는 시술자가 통상 행하는 나안(의료용 루페를 통한 것도 포함함)에서의 집도와 동일한 리얼한 현실 공간에서 제공하는 것이 피로가 적은 시스템이어야 하는 것을 고려하여, 후면측 깊이(Fcm)만을 이용하는 것이 일반적이다.

본 장치에서는 일상적으로 텔레비전 방송을 시청하는 것을 전제로 해서, 장시간의 시청에 견디는 눈에 온화하고 보다 자연스러운 표현을 실현해서 시청자의 피로를 억제하기 위해서, 의료용과 마찬가지로 후면측 깊이(Fcm)를 이용해도 좋다.

후면측의 깊이(Fcm)의 범위에 영상을 담기 위해서, 패널의 기준면, 즉 깊이량 0cm의 위치에 동작 벡터 수평 성분 중의 기대되는 최대 스칼라량의 부분을 배치하고, 그 밖의 부분을 기준면보다 후방측에 배치하도록 한다.

구체적으로는, 영상 중의 최 원경을 가장 안쪽에 배치하기 위해서, 기준 프레임과 참조 프레임으로부터 생성되는 깊이 정보 매트릭스를 깊이(Fcm)에 대응하도록 최적화한다.

깊이 정보가 되는 변위량이 기준 프레임과 참조 프레임의 요소끼리에 대해서 본 동작 벡터의 수평 성분의 최대 스칼라량보다 커지면 패널면에서 전방으로 돌출하는 영상이 되므로, 예를 들면 기준 프레임과 참조 프레임의 프레임차(n)로부터 산출되는 시차 정보를 안배하는 등의 방법으로 조정한다.

본 발명의 입체 영상화 표시장치에서는 참조 프레임을 선정하는 시간차로서 0초 또는 프레임차 0을 지정함으로써, 좌우안에는 동일한 영상이 가져와지므로, 간단하게 본래의 2차원 영상을 시청할 수 있다. 따라서, 필요에 따라 일반적인 2차원 영상과 일부를 입체 영상화한 영상을 스위칭하여 이용할 수도 있다.

또한, 프레임차(n)를 선택함으로써 또는 기준 프레임에 부여되는 동작 벡터의 스칼라량을 확대 축소함으로써, 기호에 따라 깊이를 깊게 하거나 얕게 하거나 조정할 수 있고, 또한 동작 벡터의 수평 성분을 산정해서 평가함으로써 대상물의 이동 속도에 따라 깊이량을 Fcm 또는 F+Ncm 이내로 최적화하는 자동 처리에 의해 깊이를 조정할 수도 있다. 또한, 프레임차가 1이고 깊이량이 패널의 깊이 표현을 초과하는 빠른 동작이 있는 영상 입력에 대해서는 해당 동작량의 제거 또는 압축 처리가 있어도 좋다.

또한, 화면 중의 입체 영상화하는 영역을 지정하는 기능을 부대시켜도 좋다.

또한, 본 발명의 입체 영상화 표시장치는 수평방향에 있어서의 다른 적당한 수의 시점으로부터 본 영상, 즉 시점 영상을 제시함으로써, 시청자가 입체화해서 관찰할 수 있는 다안식의 입체 영상 표시장치 대신에 이안식의 입체 영상 표시장치를 사용해도 좋다. m개 시점의 나안식 입체 영상 표시장치를 사용할 때에는 시점 영상 생성부를 구비하고, 기준 프레임과 참조 프레임으로부터 m-1개의 다시점 영상을 형성하고, 기준 프레임과 다시점 프레임을 맞춰서 m개의 프레임을 제시하도록 하면 좋다.

본 발명의 2차원 영상의 입체 영상화 표시장치는 종래형 텔레비전 방송에 있어서의 2차원 영상을 가공해서 3차원 영상화해서 3D 수상기에 표시함으로써, 시청자에게 영상의 입체시를 야기할 수 있다. 이것에 의해, 방송 사업자에게 새로운 부담을 주지 않고 시청자가 현장감이 넘치는 입체 영상을 관찰할 수 있게 되었다.

도 1은 본 발명의 1 실시예에 따른 2차원 영상의 입체 영상화 표시장치의 구성을 나타내는 개념도이다.
도 2는 본 실시예의 입체 영상화 표시장치에 있어서의 프레임 선택의 개념을 설명하는 도면이다.
도 3은 본 실시예의 입체 영상화 표시장치에 있어서의 프레임 선택의 개념을 설명하는 도면이다.
도 4는 좌우안에 각각 부여하는 영상 중에서 피사체가 운동에 의해 변위하는 것을 설명하는 도면이다.
도 5는 좌우안에 각각 부여하는 영상 중에서 카메라의 이동에 의해 피사체가 변위하는 것을 설명하는 도면이다.
도 6은 대상물의 동작에 따른 동작 벡터에 대해서 설명하는 도면이다.
도 7은 영상 중의 대상물의 동작 벡터의 방향이 반전하는 현상을 설명하는 도면이다.

본 발명에 따른 2차원 영상의 입체 영상화 표시장치는 종래 기술에 관한 2차원의 텔레비전 방송 신호 등을 수신하고, 풀프리히 효과를 활용함으로써 동영상에 있어서의 망막 상의 상대적인 「시간적 어긋남량」에 의거하여 좌우안 시차상을 생성하여 영상 전체 또는 그 일부를 입체화해서 표시한다.

텔레비전 방송파는, 예를 들면 1초 간에 30프레임(인터레이스 방식에서는, 예를 들면 1초 간에서 60필드. 본 발명의 기술에 있어서는 프레임과 필드의 기능에 차이가 없으므로, 본 명세서에서는 「프레임」으로 대표하는 것으로 한다.)의 프레임열로서 화상 신호를 송신한다.

통상의 방송파가 반송하는 텔레비전 영상은 2D 영상이며, 피사체의 깊이 정보를 가지고 있지 않다. 그러나, 피사체가 카메라에 대하여 운동하거나 피사체에 대하여 카메라가 이동하거나 하면, 2D 영상 중의 다른 프레임의 화면 중의 피사체의 위치가 변화되어 피사체의 상에 시간적 어긋남이 생긴다.

그래서, 기준이 되는 프레임의 화상을, 예를 들면 좌안 화상으로 하고, 이것에 대하여 소정 시간을 둔 참조 프레임으로부터 생성된 다시점 영상 중 하나를 선택해서 우안 화상으로 하고, 이 수평방향으로 어긋난 영상을 좌우안으로 나누어 공급한다. 그러면, 어떤 피사체를 양안으로 볼 때의 폭주각이 기준 프레임 화면 상의 피사체를 볼 때의 폭주각과 다르기 때문에, 피사체의 상이 표시 화면에 대하여 깊이 방향으로 변위해서 보이도록 영상에 입체감이 부여된다.

이렇게 하여 형성된 피사체에 대한 가상적인 좌우안의 폭주각이 2D 영상을 표시하는 화면을 볼 때의 폭주각보다 크면 화면보다 도드라져 보이고, 그것보다 작으면 들어가 보인다. 또한, 예를 들면 피사체의 변위량이 크고 폭주각의 차가 크면 깊이량이 크게 보여서 먼 물체는 작게 보여 동일한 움직임이면 먼 것은 늦게 보이는 등의 선험적 지식 요인을 활용해서 영상에 입체감을 가지게 할 수 있다.

그래서, 상기에 따라서 형성한 가상적인 좌우안 시차 영상을 3D 표시장치로 좌우안의 각각에 대응하도록 제시하면, 3D 표시장치를 보는 사람은 선험적 지식 요인에 의거하여 영상 중의 움직임이 있는 부분으로부터 화면 전체가 입체화한 영상으로서 관찰할 수 있다.

폭주각은 2개의 화상에 있어서의 피사체의 수평방향 편차에 의거하여 형성된다. 피사체의 이동 속도가 바뀌지 않아도, 영상 중의 피사체 위치의 변동량은 동영상에 있어서의 프레임 이송수에 의해 변화한다. 1초 간에 30프레임 스위칭해서 동영상을 형성할 경우, 예를 들면 6프레임차가 있는 2개의 화상에 있어서 동일한 대상물의 위치 변화를 검출한 시간적 어긋남을 공간적 어긋남에 대응시키는 것으로 하면, 0.2초에 있어서의 이동량에 근거하여 좌우 시차 영상을 생성하게 된다. 폭주각이 크면 앞쪽으로 가까워지고, 폭주각이 작으면 맞은편측으로 멀어진다. 2개의 화면 중에서 동일한 위치에 표시되는 대상물의 폭주각은 표시 패널의 표시면과 좌우 동공 간의 거리 관계에 의해 결정되는 각도이다. 2개의 대상물의 깊이량의 차는 이 폭주각의 차에 의해 인식된다.

또한, 피사체의 깊이량이 지나치게 클 때에는 2개의 화상의 프레임차를 작게 하고, 깊이량이 지나치게 작을 때에는 프레임차를 크게 하는 조정에 의해, 깊이량을 적정화할 수 있다.

또한, 영상 중의 대상물의 입체시는 양안 시차에 의거하는 것과 운동 시차에 의거하는 것, 및 선험적 지식 요인에 의한 인식에 의거하여, 대상물의 깊이 지각을 생기시킬 수 있다. 풀프리히 효과는 일방의 눈에 어두운 안경을 댐으로써 지각 지연을 일으켜서 입체시화를 구현시키고 있다. 그러나, 본 발명의 입체 영상화 장치에서는 좌우안에 시차량이 다른 영상을 각각 선택하는 것 또는 복수의 광선을 다시점 영상으로서 재생하는 것에 의해, 직접적으로 이 지연량을 시차로 변환해서 양안 시차를 생기게 할 수 있다.

그런데, 사람이 움직이는 사물을 관찰할 때에는 대상물이 동일한 양만큼 이동해도, 가까운 대상물에서는 망막 상에서 크게 변화되고, 먼 대상물에서는 작게 변화된다.

사람은 선험적 지식에 의거하여 시계가 이동할 때에 크게 움직이는 물체를 가까이에 있고 또한 작게 움직이는 물체를 멀리 있는 것이라고 인식한다. 따라서, 화상 중의 각 물체가 각각 다른 동작을 함으로써 각각의 깊이감이 형성된다.

또한, 사람의 시각 시스템은 특히 움직이는 것에 대하여 추적해서 주시함으로써 명료하게 대상물을 이해하고자 한다. 그 때문에 두부의 운동이나, 안구 운동에 의한 추종 운동이 발생하고, 이 추종 운동이야말로 운동 시차에 의한 안정한 깊이 지각을 실현한다.

비특허문헌 2에도, 선험적 지식을 활용하여, 주시점을 중심으로 그것보다 가까운 물체는 빠르고 먼 물체는 느린 것을 기준으로 해서 대상을 인식하는 것, 즉 영상 중의 대상물을 추적했을 때의 망막 상의 변위인 상대적인 속도 변화 벡터는 주시점보다 가까운 물체와 먼 물체에서는 선험적 지식에 반한 사상이 발생했을 경우도 할로우 페이스 착시(숙지성 요인)에 의해 인식하는 것이 기재되어 있다.

이와 같이 시야 중에서 물체의 상이 움직일 때, 시청자에 운동 시차에 의거한 입체감을 줄 수 있고, 보다 의미 해석이 강하게 작용하도록 상기에서 얻어지는 속도 벡터를 스칼라량으로 변환하고, 또한 선험적 지식을 일탈하는 정보의 필터링을 행하는 것이 알려져있다.

비특허문헌 2에 의하면, 운동 시차는 망막 상의 상대적인 속도차에 의거하고, 대상물과 주시점의 속도차 및 주시점과 관찰자의 속도차에 의거하여 발생하는 것이지만, 속도차는 상대적이기 때문에 깊이 지각은 불안정하다.

또한, 관찰자 또는 카메라가 주시점에 대하여 이동해서 관찰하는 경우에는 두부의 회전이나 안구의 회전 등으로부터 발생하는 주시점의 추종 운동과 망막 상의 상대적인 속도차의 합성이 안정적인 깊이 지각을 출현시켜서 깊이 지각이 안정화된다.

또한, 비특허문헌 2는 운동 시차로부터 안정한 깊이 지각을 하기 위해서는 대상의 선험적 지식(숙지성 요인)과 추종 이론이 필요한 것을 지적하고 있다.

본 발명에 따른 2차원 영상의 입체 영상화 표시장치에 있어서도 주시 대상물의 추종에 의해 깊이는 반전시키지 않고 안정한 입체화를 달성할 수 있다. 동작 벡터의 수평 성분에 대해서, 그 최대값을 베이스로 해서 정규화하여 모든 동작 벡터를 수평 성분의 동작 스칼라량으로서 평가한다. 이것에 의해, 영상 중의 모든 대상물에 대해서 수평방향의 동작 스칼라량이 동일한 부호로 표시되어 이동방향의 반전이 없어져서, 깊이 지각을 안정화시킬 수 있다.

본 발명의 입체 영상화 표시장치에서는 풀프리히 효과에 근거하는 양안 시차에 맞추고, 운동 시차 및 선험적 지식 요인등을 이용하여 영상의 입체감을 증진한다.

이하, 실시예에 의거하여 본 발명에 따른 2차원 영상의 입체 영상화 표시장치에 대해서 도면을 참조하면서 상세하게 설명한다.

실시예 1

도 1은 본 발명의 1 실시예에 관한 입체 영상화 표시장치의 구성을 나타내는 개념도이다.

본 실시예의 입체 영상화 표시장치(100)는 도 1에 굵은 프레임으로 나타내는 2차원 영상 수신부(1), 프레임 선택부(2), 다시점 영상 신호 생성부(3), 입체 영상 표시부(4)로 구성된다.

또한, 본 발명의 입체 영상화 표시장치(100)는 도 1에 얇은 프레임으로 나타내는 프레임 동기부(5)를 부대해도 좋다. 또한, 동작 벡터 산정부(6), 깊이량 제어부(7), 깊이량 지시부(8), 2D/3D 스위칭부(9), 입체화 영역 지정부(10)를 구비할 수 있다.

2차원 영상 수신부(1)는 통상의 2D 텔레비전 방송에 있어서의 방송파를 수신한다. 수신한 2D 영상은 화상 메모리에 격납된다.

프레임 선택부(2)는 화상 메모리에 격납된 프레임열로부터 표시 대상의 영상을 기록한 기준 프레임을 선택하고, 또한 기준 프레임에 대하여 적당한 시간 간격을 둔 참조 프레임을 선택한다.

도 2는 프레임 선택의 개념을 설명하는 도면이다. 2D 영상의 동영상을 형성하는 프레임열로부터 기준 프레임과 참조 프레임이 소정수(n)의 프레임차를 갖고 선택된다.

기준 프레임은 통상의 2D 영상으로 표시될 프레임을 선택한 것이다. 참조 프레임(R)으로서, 제 i 번째의 기준 프레임(B)에 대하여 n 프레임분 선행한 제 i -n번째의 프레임이 선택된다. 표준 프레임(B)과 참조 프레임(R)으로부터 화소 단위에서 영상 중의 부분의 이동방향과 이동을 산출함으로써 동작 벡터로서의 깊이 정보가 산출된다.

프레임차(n)는 적당하게 선택되는 수이고, 적당한 깊이 지각을 얻기 위해서 조정할 수 있다. 고속으로 운동하는 대상물에 대해서는 프레임차 1이어도 적당한 깊이 지각을 부여할 수 있고, 저속 운동하는 것이라도, 예를 들면 프레임차 10 등 큰 값을 선택함으로써 적당한 정도의 깊이 지각을 부여할 수 있다. 이와 관련하여, 프레임차 0으로 하면, 좌우안에 동일한 영상을 부여해서 본래의 2D 영상을 시청시킬 수 있다.

또한, 기준 프레임으로 선행하는 프레임으로부터 참조 프레임을 선택하는 것은 기준 프레임을 선택했을 때에 즉시 다시점 영상 신호를 생성하는 연산 공정을 실행할 수 있도록 하기 위해서이지만, 시간적으로 여유가 있을 때에는 기준 프레임보다 지연하는 프레임으로부터 선택해도 좋다.

다시점 영상 신호 생성부(3)는 선택된 기준 프레임과 참조 프레임의 영상으로부터 각 화소 영역에 대해서 깊이 정보를 계산하고, 기준 프레임의 영상 중의 부분에 대하여 참조 프레임의 영상 중의 대응 부분을 깊이 정보에 맞춰서 배치해서 입체화 영상으로 하고, 이것에 의거하여, 예를 들면 m개의 각 시점으로부터의 입체 영상을 형성함으로써 다시점 영상 신호로 하고, 화상 메모리를 통해서 입체 영상 표시부(4)에 공급한다.

프레임 선택부(2)와 다시점 영상 신호 생성부(3)는 일체의 고속 연산 처리장치로 구성할 수 있다.

입체 영상 표시부(4)는 입체 영상 표시장치를 하나 이상 구비하고, 사이드 바이 사이드 영상이나 L/R 영상의 3D 영상 신호를 이용하여 다시점 영상을 생성하는 기능을 갖는다. 본 실시예의 입체 영상화 표시장치(100)는 인테그럴 포토그래피(Integral Photography) 방식, 또는 패럴랙스 배리어(Parallax Barrier)나 렌티큘러 렌즈 등을 사용한 나안용 입체 영상 표시기(4-1)를 이용하여 수평 방향으로 다른 시점으로부터 얻어지는 m개의 영상을 각각의 시선의 방향으로 방출하는 것을 시청자가 관찰해서 입체상을 얻도록 할 수 있다.

나안용 입체 영상 표시기(4-1)에 의하면, 나안에 의한 장시간의 시청에 견디어 보다 쾌적한 영상 감상이 가능하다. 이것에 의해, 시청자의 관찰 위치가 표시장치의 바로 정면에 없어도 또한 수평방향으로 변동해도, 정상적인 입체시가 가능하게 된다. 또한, 시청자의 시청 위치 또는 시대상물의 동작에 맞춘 추종 운동에 의해 다른 영상을 얻어서, 운동 시차에 의한 입체시화가 보다 원활하게 행해지게 된다.

또한, 편광 방식이나 셧터 방식의 입체 안경을 이용하여 좌우 시차상을 보도록 한 보다 간편한 방식의 이안식 입체 영상 표시기(4-2)를 사용하는 것도 가능하다.

입체 영상 표시부(4)가 복수의 입체 영상 표시기를 구비할 경우에는 시점 영상 선택부(13)를 더 구비하고, 다시점 영상 신호 생성부(3)가 입체 영상 표시기의 각각에 대응하는 좌우안 시차 영상 신호를 생성함과 아울러, 그 때때로 선택된 입체 영상 표시기에 대응하는 좌우안 시차 영상 신호를 선택해서 입체 영상 표시부(4)에 공급한다.

도 3은 2D 영상 신호를 이용하여 입체 영상화하는 원리를 설명하는 도면이다. 2D 영상을 양안으로 관찰할 때, 주목점(A)이 정지하여 있으면, 좌우안에 동일한 화상이 공급되므로, 관찰자와 영상의 거리에 의거하여 좌우안의 폭주각(θ)이 결정된다.

그러나, 주목점(A)이 운동할 때에, 이동 전의 위치(A)에 있어서의 대상물의 영상을 좌안에 부여하고, 소정 시간 후에 예를 들면 좌측으로 어긋난 도면 중 점선으로 나타내는 위치(A')의 영상을 우안에 부여하면, 망막에 비치는 상의 위치에 공간적 어긋남이 생겨서 양안 시차가 발생하고, 양안에서 주목점을 예상하는 시선이 이동 전의 대상물을 볼 때보다 앞쪽에서 교차하므로, 폭주각(θ')은 이동 전의 위치(A)를 예상할 때보다 커져서 대상물이 앞쪽으로 다가와서 도면 중의 위치(A")에 있는 듯이 보인다. 이와 같이, 이동 전의 영상을 일방의 눈에, 이동 후의 영상으로부터 산출되는 시점 영상을 타방의 눈에 부여함으로써, 영상에 깊이 감각이 생겨서 입체화되어 보이게 된다.

이 현상은 정지하고 있는 대상물에 대하여 촬상 장치를 이동시켰을 경우에도 동등하게 생긴다.

또한, 망막 상에 비치는 대상물의 영상이 운동할 때, 망막 상의 대상물과 주시점의 영상의 상대적인 속도차에 의거하여 운동 시차가 생긴다. 운동 시차에 의해, 예를 들면 고속 이동하는 대상물은 보다 가까이, 저속 이동하는 대상물은 보다 멀게 있는 것을 인식한다. 그러나, 속도차는 상대적이기 때문에 깊이 지각은 불안정하다.

또한, 관찰자 또는 카메라가 주시점에 대하여 이동해서 영상을 형성하는 경우에는 두부의 회전이나 안구의 회전 등으로부터 생기는 주시점의 추종 운동과 망막 상의 상대적인 속도차의 합성이 안정적인 깊이 지각을 출현시켜서 깊이 지각이 안정화된다.

또한, 사람의 시각 시스템은 선험적 지식을 활용함으로써, 주시점을 중심으로 그것보다 가까운 물체는 빠르게 이동하고 먼 물체는 느리게 이동한다고 해서 대상을 인식하거나, 선험적 지식에 반한 사상이 발생했을 경우에도 할로우 페이스 착시(숙지성 요인)에 의해서 선험 사상과 모순하지 않도록 수복해서 인식할 수 있다. 이와 같이 시야 중에서 물체의 상이 움직일 때, 시청자에 운동 시차에 근거하여 입체감을 줄 수 있다.

이와 같이, 사람이 영상으로부터 양안 시차에 의해 보는 입체감으로는 안정한 깊이량을 감득할 수 있다.

본 실시예의 입체 영상화 표시장치는 이들 양안 시차나 운동 시차 및 선험적 지식 요인 등의 기구를 가산적으로 복합함으로써, 사람에게 적당한 입체감을 갖게 하도록 한 것이다.

도 4와 도 5는 좌우안에 각각 부여하는 영상 중에서 피사체가 변위하는 원인을 예시하는 도면이다. 영상 중의 대상물의 변위는 도 4에 나타나 있는 바와 같이 대상물 자체의 운동에 의거하는 경우가 있고, 또한 도 5에 나타나 있는 바와 같이 정지하는 대상물에 대하여 카메라의 촬영 앵글이 변화되는 경우도 있다.

도 6은 동작 벡터에 관한 설명을 하는 도면이다. 도면에서는 입체 영상화의 원리를 설명하기 위해서 변위량을 과장하고 있다.

예를 들면, 도 6에 나타나 있는 바와 같이, 가까이 오는 열차에 대해서 기준 프레임에 비추어진 영상과, 기준 프레임에 대하여 소정 시간차를 갖고 제공되는 참조 프레임에 있어서의 영상을 각각 좌우안에 시차 영상으로서 제시하면, 기준 프레임과 참조 프레임 간에서 대상물의 위치가 다른 분만큼 폭주각이 다른 정지 화상면을 관찰하게 된다. 이때 다른 폭주각에 따라, 집중점에 대하여 깊이 방향으로 편차가 생겨서, 대상물의 상이 도드라지거나 들어가거나 해서 보인다.

양안시에 의해 지각되는 깊이량은 기준 프레임과 참조 프레임에 있어서의 대상물의 수평방향의 이동량에 비례하기 때문에, 양 프레임에 있어서의 대상물의 상의 사이에서 산정되는 동작 벡터의 수평 성분으로서 얻어지는 스칼라량에 대응시킬 수 있다.

기준 프레임과 참조 프레임 간에 있어서의 대상물의 위치를 보면, 촬영 위치에 가까운 부분에서는 변위량이 크고 먼 부분에서는 변위량이 작다. 따라서, 본 방식에 의한 양안시를 행했을 때에, 가까운 부분의 폭주각이 커서 기준면으로부터 크게 도드라지는 한편, 먼 부분의 폭주각은 작아서 도드라짐량이 작아져서, 열차의 영상이 입체화된다.

대상물이 움직이는 속도가 지나치게 빠를 때에는 기준 프레임과 참조 프레임의 시간차를 짧게 취하고, 느릴 때에는 시간차를 크게 취하여, 깊이량을 조정하는 것이 바람직하다. 이 때문에, 화상 중의 물체의 운동 속도를 평가하고, 최고속의 물체의 속도에 맞춰서 적절한 시간 간격을 설정하거나, 속도 스칼라량의 확대 축소를 하거나 할 수 있도록 구성되어 있다.

또한, 화상 표시장치의 프레임 주파수에 대하여 대상물의 동작이 현저하게 빠를 경우에는 입체 표시장치의 입체 표시 능력이 일탈하지 않도록, 대상물이 비쳐 들어간 화소 영역의 속도 스칼라를 삭제하거나 압축하거나 하는 것이 바람직하다.

본 실시예에 관한 입체 영상화 표시장치(100)에 의하면, 일반적인 2D 텔레비전 방송 영상 신호를 수신하고, 화상 중에서 수평 방향으로 동작이 있는 피사체에 대해서, 유사적인 좌우안 시차상을 형성하여, 입체 영상 표시기(4)에 표시할 수 있다. 따라서, 시청자는 일반적인 2D 방송 영상에 있어서, 적어도 화면 중에서 이동하는 부분에 대해서 입체적으로 감득함으로써, 실제감을 가진 박력이 있는 영상을 감상할 수 있다.

또한, 이 방법에 의한 입체화 영상 표기 방식은 종래 보통 사용해 온 2D 방송 신호를 처리해서 영상 신호를 생성하기 때문에, 영상을 제공하는 텔레비전 방송 시스템에 하등 변경을 필요로 하지 않는다. 이 때문에, 종래 입체 텔레비전 방송을 상업화하는 점에서 장해가 되고 있었던 고비용의 방송국 시설의 개변이나 신규 개발이 필요한 입체 영상 방송 방법 등의 경제적 곤란이나 기술적 곤란을 문제로 하지 않고, 시청자가 입체화 방송을 즐길 수 있다.

또한, 본 실시예에 관한 입체 영상화 표시장치(100)는 시청자가 보다 자연스러운 입체 영상을 시청할 수 있게 하기 위해서 프레임 동기부(5)를 구비해도 좋다. 프레임 동기부(5)는 참조 프레임을 그대로의 타이밍으로 제공하는 것이 아니라, n 프레임분 늦은 기준 프레임과 동기시켜서 동일한 타이밍으로 제시하도록 조정한다. 또한, 기준 프레임과 참조 프레임의 시간차가 근소해서 시청자가 관찰하는 입체화 영상에 큰 위화감이 생기지 않는 경우에도, 각각의 영상 화면을 동기화해서 공급하는 것이 바람직하다. 또한, 다시점 영상의 생성 프로세스에서도 처리에 시간이 필요하기 때문에, 지연을 보상하기 위해서 동기화하는 것이 바람직하다.

본 실시예에 따른 입체 영상화 표시장치(100)는 플렉시빌리티를 향상시켜서 보다 쾌적한 입체 영상을 제공하기 위해서, 깊이량 제어부(7)와 동작 벡터 산정부(6)를 구비하여, 영상의 깊이량을 적당하게 조정할 수 있도록 할 수 있다.

또한, 프레임 동기부(5), 깊이량 제어부(7) 및 동작 벡터 산정부(6)는 프레임 선택부(2)와 다시점 영상 신호 생성부(3)와 함께, 일체의 고속 연산 처리장치로 구성할 수 있다.

깊이량 제어부(7)는 바람직한 깊이 표시에 적합한 기준 프레임과 참조 프레임 간의 프레임차(n)를 선택해서 지정한다.

동작 벡터 산정부(6)는 화상 중에 표시된 각 요소에 대해서 기준 프레임과 참조 프레임에 있어서의 위치를 산출해서 양 프레임 간에 있어서의 이동을 추적하고, 요소의 동작 벡터를 산정한다. 동작 벡터의 수평방향 성분은 좌우안 시차와 대응하는 깊이 정보를 생성하는 것이 되어, 카메라의 수평 이동으로 대체하는 것도 가능하다.

소망의 깊이량을 얻기 위해서, 동작 벡터의 수평 성분량을 조정할 수 있다. 깊이량은 대상물의 좌우 시차에 대응하고, 기준 프레임과 참조 프레임의 프레임차(n)가 결정되면, 영상 중의 대상물의 운동 속도에 따라서 변화된다. 그래서, 일단 선택된 프레임에 대해서 실제로 수신한 영상으로부터 얻어진 동작 벡터를 평가한 결과를 깊이량 제어부(7)에 피드백하고, 영상 중의 이동 속도에 따라서 바람직한 입체감을 부여하는 적당한 프레임차(n)를 선정해서 정정할 수 있다.

입체 영상 표시부(5)는 시청자의 동공 간 거리나 시청자와 표시면의 거리 등과 관련해서, 예를 들면 화면 전방에 Ncm, 화면 후방에 Fcm 등, 기기 고유의 깊이 표시 능력을 갖는다. 따라서, 이 깊이 표시 능력에 대응하여 최대 깊이량과 최소 깊이량 사이의 레인지가 (F+N)cm인 사이로 수습되도록 조정하는 것이 필요하게 된다.

예를 들면, 일부의 대상이 고속 운동하기 때문에 동작 벡터의 수평 성분의 스칼라량이 지나치게 클 때에는 2개의 프레임 간의 프레임차(n)를 작게 하거나, 이동량을 비례 배분한 영상을 형성하거나 함으로써, 튀어나옴량이 최대가 되는 부분에 대해서 깊이량을 적당한 값으로 해서, 입체 영상 표시부(5)의 깊이 표시 범위로 최적화하도록 하는 것이 바람직하다.

또한, 뛰어나오고 큰 동작 벡터나 작은 동작 벡터가 출력 빈도가 높은 중간값을 가지는 동작 벡터에 있어서의 입체감을 과도하게 억제하는 일이 없도록, 감마 특성이나 S자 톤 커브를 활용한 필터 등을 사용한 비선형 압축부(11)를 설치해서 벡터값의 편차치 σ 또는 2σ, 3σ로부터 벗어나는 벡터를 비선형적으로 압축하거나, 깊이량을 0으로 두고 삭제하도록 해도 좋다.

또한, 실제의 영상에서는 주시점보다 먼 물체와 가까운 물체에서는 실제의 이동방향이 동일해도 망막에 비치는 영상 중의 이동방향은 반전하는 현상이 있다. 도 7은 영상 중의 대상물의 이동방향이 반전하는 현상을 설명하는 도면이다. 예를 들면, 좌측으로부터 우측을 향해서 이동하는 카메라에서, 길게 계속하여 담의 중간에 설치한 주시점에 초점을 맞춰서 촬영했을 경우 등, 주시점보다 좌측 부분이 시야 중에서 주시점보다 좌측으로 이동하는 것이라면 우측 부분은 우측으로 이동한다. 따라서, 담의 좌우에서는 피사체의 동작 벡터는 수평방향으로 방향이 반전하게 되어, 스칼라로 평가하면 플러스마이너스로 나누어진 값이 된다.

이와 같은 경우에도 입체 영상 표시부(5)의 깊이 표시 능력에 대응하기 위해서, 화상 중의 각 요소에 대해서 동작 벡터를 산정하고, 최다수의 스칼라량이 존재하는 범위로 비선형 압축하거나 또는 잘라 버리는 처리를 행하여, 수평 성분의 스칼라량의 최대값과 최소값의 차가 (N+F)cm에 대응하는 범위로 수습되도록 조정한다.

극장형 오락 등에서는 박력이 있는 영상으로서 화면의 전방으로 튀어나오는 입체 영상이 바람직하지만, 장시간에 걸쳐서 시청하는 일반적인 텔레비전 방송이나, 안정피로를 피하는 업무용 입체 영상에서는 입체 영상의 깊이가 화면의 후방에 표시되도록 구성하는 것이 바람직하다.

본 장치에서는 일상적으로 텔레비전 방송을 시청하는 것을 전제로 해서, 장시간의 시청에 견디는 눈에 온화하고 보다 자연스러운 표현을 실현해서 시청자의 피로를 억제하기 위해서, 의료용과 같이 후면측 깊이(Fcm)만을 이용하도록 구성할 수 있다. 이 때문에, 본 실시예의 깊이량 제어부(7)에는 용도나 목적에 맞춰서 모든 대상물이 화면의 후방측에 표시되도록 조정하는 기능을 갖고 있다.

입체시화했을 때의 튀어나옴량은 화면 중의 대상물마다, 요소마다 다르고, 수평방향 이동량에 따라서 결정된다. 그래서, 화면 중의 요소에 대해서 동작 벡터의 수평 성분을 산정해서 가장 큰 값을 찾아내고, 그 부분에 대한 폭주각이 표시 화면 표면의 폭주각을 초과하지 않도록 조정한다.

이 때문에, 영상 중의 최 원경이며 폭주각이 최소가 되는 대상을 가장 안쪽에 배치하도록, 기준 프레임과 참조 프레임을 깊이(Fcm)에 대응하는 분으로 해서 dcm만큼 수평방향으로 변위시킨다. 그러면, 기준 프레임과 참조 프레임 중의 각 요소는 동작 벡터의 수평 성분으로부터 dcm 제함으로써, 프레임의 제시 위치가 조정된 후의 폭주각이 결정된다.

이 수정된 폭주각이 표시 화면 표면의 폭주각보다 커지는 부분이 있을 때에는 이 부분이 표시면으로부터 전방으로 돌출해서 보이는 영상이 되므로, 예를 들면 기준 프레임과 참조 프레임의 프레임차(n)를 안배하는 등의 방법으로 최 전경의 요소의 동작 벡터의 수평 성분을 조정한다.

이렇게 하여 얻어진 입체화 영상은 모든 대상이 표시면으로부터 후방에 보여서, 눈에 온화한 3차원 영상으로서 표시장치에 표시된다.

깊이 매트릭스 생성부(12)는 기준 프레임 내의 화소 영역에 대해서 상기 조정 후에 얻어진 동작 벡터의 수평 성분의 스칼라를 요소로 하는 깊이 매트릭스를 수납한다. 깊이 매트릭스는 깊이 정보로서 다시점 영상 신호 생성부(3)에 부여되어, 다시점 영상 신호를 형성할 때에 이용된다.

또한, 깊이 지시부(8)를 구비하고, 깊이량 제어부(7)에 깊이량을 임의의 값으로 고정하는 지시를 메뉴얼에 의해 내리도록 해도 좋다. 깊이량은 프레임의 제시 위치의 편차량(dcm)이나, 기준 프레임과 참조 프레임의 프레임차(n)나, 동작 벡터의 비례 배분에 의해 지정될 수 있다. 또한, 깊이량의 메뉴얼 지시를 할 때에는 동작 벡터 산정부(6)로부터 피드백되는 동작 벡터의 수평 성분 스칼라량에 의거하는 리미터 기능만을 작동시켜서 자동 조정을 행하지 않도록 하는 것이 바람직하다.

또한, 2D/3D 스위칭부(9)를 구비하여 시청자가 적당하게 선택할 수 있도록 해도 좋다. 본 실시예에 관한 입체 영상화 표시장치(100)는 2D 방송파를 파악해서 시간적으로 변화되는 영상을 좌우안 시차상으로서 제공함으로써 3D 영상화하는 것이다. 그래서, 깊이량 제어부(7)에 대하여 비교하는 기준 프레임과 참조 프레임의 프레임차를 제로로 하는 지시를 부여함으로써, 입체 표시장치의 좌우안 시차 영상으로서 동일한 영상을 제시해서 본래의 2D 영상을 표시시킬 수 있다. 또한, 프레임차를 제로로 하는 지시는 프레임 선택부(2)에 직접 부여하도록 해도 좋다.

2D/3D 스위칭부(9)에 의해 시청자는 기호에 따라 2D 방송과 3D 영상화 방송을 선택해서 감상할 수 있다. 2D 방송을 선택하면, 방송국이 제공하는 본래의 프로그램을 그대로 시청하게 된다.

또한, 프로그램 편집으로 화면이 바뀔 때에는 2D 영상에 연속성이 없어지므로, 기준 프레임과 참조 프레임에서 동일한 피사체가 비치고 있지 않아서, 양안 시차 영상을 형성할 수 없어 위화감을 준다. 이 때문에, 컷 변화 검출기(14)를 구비해서, 2차원 영상 수신부(1)로부터 입력하는 영상 신호 출력에 근거해서 컷 변화를 감시하고, 컷 변화를 검출했을 때에는 프레임 선택부(2)에 지시를 주어서 3D 영상화를 중단하도록 하는 것이 바람직하다.

또한, 본 실시예의 입체 영상화 표시장치(100)는 입체화 영역 지정부(10)를 구비하고, 영상 중의 적당한 영역을 한정해서 입체 영상화하도록 할 수 있다.

사람이 관찰하고 싶은 주목 부분이 있을 때에는 관찰 목적을 헷갈리지 않기 위해서 그 이외의 피사체를 입체 표시하지 않도록 하고 싶은 경우가 있다. 이러한 때에는 입체화 영역 지정부(10)를 통해서 동작 벡터 산정부(6)에 영상 중의 입체화할 영역을 지정해서 연산 대상으로 하는 부분을 한정할 수 있다. 입체화할 영역 이외의 부분은 기준 프레임과 영상을 좌우 양안에 제시하면, 2D 영상 그대로 관찰하게 된다.

(산업상의 이용 가능성)

본 발명의 입체 영상화 표시장치는 일반적인 텔레비전 방송을 수신한 수상기로 3D 영상화해서 표시하기 때문에, 종래의 텔레비전 방송 시스템에 하등 변경을 가하지 않고, 2D 방송과 공존하는 것으로서 이용할 수 있다.

또한, 의료계 시스템에서는 내시경, 초음파 기기, 카테터, MRI 등, 많은 의료기기가 2D 영상을 사용하고 있지만, 본 발명에 따른 장치에 의해 입체 영상으로 함으로써, 환부를 정확하고 또한 신속하게 파악할 수 있어서 보다 확실한 시술이 가능해진다.

100: 입체 영상화 표시장치
1: 2차원 영상 수신부
2: 프레임 선택부
3: 다시점 영상 신호 생성부
4: 입체 영상 표시부
4-1: 나안용 입체 영상 표시기
4-2: 이안식 입체 영상 표시기
5: 프레임 동기부
6: 동작 벡터 산정부
7: 깊이량 제어부
8: 깊이량 지시부
9: 2D/3D 스위칭부
10: 입체화 영역 지정부
11: 비선형 압축부
12: 깊이 매트릭스 생성부
13: 시점 영상 선택부
14: 컷 변화 검출부

Claims (8)

1. 프레임열로 이루어지는 2D 방송을 수신해서 프레임마다 2D 영상 신호를 공급하는 2차원 영상 수신부, 프레임열로부터 기준 프레임과 상기 기준 프레임에 대하여 소정 수의 프레임차를 갖는 참조 프레임을 선택하는 프레임 선택부, 상기 기준 프레임과 상기 참조 프레임의 영상을 화소 수준으로 비교해서 화소 영역의 시간적 어긋남을 산출해서 속도 벡터로 하고, 상기 속도 벡터를 상기 기준 프레임에서 발생하는 운동 시차로 하고, 상기 운동 시차에 의거하여 깊이 정보를 생성하고, 상기 깊이 정보에 의거하여 다시점 영상을 형성하여 좌우안에 제시하는 좌우안 시차 영상 신호로서 제공하는 다시점 영상 신호 생성부, 및 상기 좌우안 시차 영상 신호를 수신해서 좌우안에 각각 영상을 제시함으로써 3차원 영상으로서 표시하는 입체 영상 표시부로 구성한 2차원 영상의 입체 영상화 표시장치.
2. 제 1 항에 있어서,
   상기 입체 영상 표시부가 복수의 입체 영상 표시기를 구비하고, 상기 다시점 영상 신호 생성부가 상기 입체 영상 표시기의 각각에 대응하는 좌우안 시차 영상 신호를 생성함과 아울러, 적당하게 선택된 상기 입체 영상 표시기에 대응하는 상기좌우안 시차 영상 신호를 선택해서 상기 입체 영상 표시부에 공급하는 시점 영상 선택부를 구비하는 입체 영상화 표시장치.
3. 제 1 항 또는 제 2 항에 있어서,
   상기 기준 프레임과 상기 참조 프레임의 표시 시각을 조정하는 프레임 동기부를 구비하는 입체 영상화 표시장치.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 기준 프레임과 상기 참조 프레임의 화상 중에 표시된 각 부분에 대해서 상기 기준 프레임과 상기 참조 프레임에 있어서의 위치를 추적해서 양 프레임 간에 있어서의 표시 위치의 이동량에 관한 동작 벡터를 산정하는 동작 벡터 산정부와, 상기 동작 벡터의 수평 성분 스칼라량을 분포에 의거하여 조정해서 상기 입체 영상 표시기의 표시 성능에 적합하도록 분포를 최적화하는 비선형 압축부와, 상기 조정 후의 동작 벡터의 수평 성분 스칼라량을 프레임 중의 화소에 대해서 배열한 깊이 매트릭스를 형성하는 깊이 매트릭스 생성부를 구비하는 입체 영상화 표시장치.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   상기 기준 프레임과 상기 참조 프레임의 프레임차를 조정함으로써 깊이량을 제어하는 깊이량 제어부와, 상기 프레임차를 선택해서 깊이량을 지정하는 깊이량 지시부를 구비하는 입체 영상화 표시장치.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
   상기 기준 프레임 중의 입체 영상화하는 영역을 지정하는 입체화 영역 선택부를 구비하는 입체 영상화 표시장치.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
   표시하는 영상을 2D 방송의 영상과 입체 영상화한 영상 중에서 선택해서 지시하는 2D/3D 선택부를 구비하는 입체 영상화 표시장치.
8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
   상기 2차원 영상 수신부로부터 공급되는 영상 신호에 의거하여 영상의 컷 변화를 검출해서 프레임 선택부에 선택의 중단을 지시하는 컷 변화 검출부를 구비하는 입체 영상화 표시장치.
   

Images