KR20110122057A - 설정 메뉴를 디스플레이하기 위한 방법 및 대응하는 디바이스 - Google Patents

설정 메뉴를 디스플레이하기 위한 방법 및 대응하는 디바이스 Download PDF

Info

Publication number
KR20110122057A
KR20110122057A KR1020110039172A KR20110039172A KR20110122057A KR 20110122057 A KR20110122057 A KR 20110122057A KR 1020110039172 A KR1020110039172 A KR 1020110039172A KR 20110039172 A KR20110039172 A KR 20110039172A KR 20110122057 A KR20110122057 A KR 20110122057A
Authority
KR
South Korea
Prior art keywords
image
setting
depth
screen
display
Prior art date
Application number
KR1020110039172A
Other languages
English (en)
Inventor
디디에 드와이앙
실베인 티에보
티에리 보렐
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20110122057A publication Critical patent/KR20110122057A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 설정 메뉴를 디스플레이하는 방법에 관한 것이다. 관객에 의해 수행된 설정의 그래픽 표현을 최적화하기 위하여, 방법은:
- 깊이 방향(z)에 따라, 치수 중 하나가 확장하는 3-차원 그래픽 요소(20)를 포함하는 상기 설정 메뉴를 디스플레이하는 단계,
- 상기 그래픽 요소 상에서, 깊이 정보의 적어도 하나의 항목을 나타내는 적어도 하나의 설정(203, 204, 205)을 디스플레이하는 단계를
포함한다.

Description

설정 메뉴를 디스플레이하기 위한 방법 및 대응하는 디바이스{METHOD FOR DISPLAYING A SETTINGS MENU AND CORRESPONDING DEVICE}
본 발명은 이미지 또는 비디오 처리 분야에 관한 것이고, 더 구체적으로 3-차원(3D) 이미지 및/또는 비디오의 처리에 관한 것이다. 또한 본 발명은 이미지 보간의 분야와, 이미지 및/또는 비디오의 3D에 관련된 특징의 설정의 분야에 관한 것이다.
종래 기술에 따라, 부조의 지각을 복원하기 위하여 비디오 처리에 사용되는 수 개의 방법이 존재하고, 예를 들어, 입체 영상법이 존재한다. 입체 영상법에서, 동일한 장면의 2개의 뷰(view)는, 2개의 상이한 비디오 카메라 또는 2개의 상이한 스틸(still) 카메라를 이용하여, 서로에 대해 측면으로 오프셋 된(offset) 2개의 상이한 관찰 지점으로부터 기록된다. 동일한 장면의 이들 2개의 뷰는 디스플레이 디바이스{예를 들어, PDP(Plasma Display Panel) 종류의 스크린, LCD(Liquid Crystal Display) 종류의 스크린, 또는 비디오-프로젝터의 수단을 통한 스크린} 상에서, 시간적 순차 방식(좌측 이미지에서 우측이미지로 등) 또는, 공간적 인터레이스(interlaced) 방식(좌측 이미지 라인에서 우측 이미지 라인으로 등)으로 디스플레이되어, 부조의 지각, 즉 깊이 정보를 복원하게 된다. 3D 효과의 진폭 또는 3D 이미지에서 부조의 지각은 좌측 및 우측 이미지의 이격도(disparity) 즉, 2개의 픽셀을 분리시키는 거리(예를 들어, 픽셀의 개수로 측정될 수 있는)에 직접 의존하게 되는데, 이 2개의 픽셀, 즉 좌측 이미지에 대한 픽셀과 우측 이미지의 픽셀은 디스플레이 디바이스의 레벨에서 비디오 정보의 동일한 항목을 나타낸다 즉, 기록된 장면의 동일한 요소를 나타낸다. 일반적으로, 필름 또는 비디오의 좌측 및 우측 이미지의 이격도는 디렉터(director)에 의해 설정되고 결정되며, 이 이격도는 장면을 촬영하는 좌측 및 우측 카메라 간의 거리에 대응하는데, 이들 2개의 카메라는 종종 6.5cm의 거리 만큼 더 떨어지고, 이 거리는 개인의 눈이 떨어져 있는 평균 거리에 대응한다.
카메라가 떨어져 있는 선택된 거리는 평균 거리에 대응하고, 3D 필름 또는 이미지를 보는 각각의 관객이 시각적 피로도를 피하거나, 감소시키기 위하여 이 관객의 뷰에 입체 3D 이미지를 형성하는 좌측 및 우측 이미지의 이격도를 적응킬 수 있도록, 이격도를 적응시키는, 즉 3D 효과의 진폭을 적응시키는 필요성이 느껴진다. 게다가, 상당한 3D 효과는 일부 관객을 방해할 수 있어서, 관객은 이후 3D 효과의 진폭을 조정하도록, 즉 이미지의 깊이를 설정하도록 시도할 수 있다. 이미지의 깊이가 설정되게 할 수 있는 GUI(Graphic User Interface)는 2004년 4월 27일에 특허허여된 특허 문서 US 6,727,924 B1으로부터 잘 알려져 있다. 이러한 GUI 또는 이러한 설정 메뉴는 이미지 깊이를 설정하기 위해 베이스에서 상단으로 또는, 상단에서 베이스로 이동하는 이미지 배경의 수직 방향에 따라, 이동하는 설정 버튼을 포함한다. 깊이 설정이 더 커질수록, 더 많은 설정 메뉴가 이미지로 더 들어가게 되어, 관객에게 선택된 깊이 설정의 강도의 지시를 제공한다. 하지만, 관객을 통한 깊이의 설정에 대응하는 깊이에 관련된 시각적 정보가, 특히 3D 효과의 전체 진폭, 즉 선택된 최소 및 최대 깊이 값을 나타내는데 완벽하지 않다.
본 발명의 목적은 종래 기술의 이들 단점 중 적어도 하나를 극복하는 것이다.
더 구체적으로, 본 발명의 목적은 관객의 설정의 그래픽 표현을 두드러지게 최적화하는 것이다.
본 발명은 설정 메뉴를 디스플레이하는 방법에 관한 것이다. 방법은:
- 깊이 방향에 따라 치수 중 하나가 확장하는 3-차원 그래픽 요소를 포함하는 설정 메뉴를 디스플레이하는 단계,
- 그래픽 요소 상에서, 깊이 정보의 적어도 하나의 항목을 나타내는 적어도 하나의 설정을 디스플레이 하는 단계를
포함한다.
특정 특징에 따라, 방법은 그래픽 요소의 적어도 하나의 부분의 선택 단계를 포함하는데, 선택된 적어도 하나의 부분은 적어도 하나의 설정에 관련된다.
이로운 방식으로, 방법은 깊이가 적어도 하나의 설정에 의존하는 적어도 하나의 3차원 이미지를 디스플레이하는 단계를 포함하는데, 적어도 하나의 이미지의 디스플레이는 그래픽 요소의 디스플레이에서 적어도 하나의 설정의 애플리케이션에 후속된다.
이롭게, 방법은 깊이가 적어도 하나의 설정에 의존하는 적어도 하나의 3-차원 이미지를 디스플레이하는 단계를 포함하는데, 적어도 하나의 이미지를 디스플레이 하는 것은 적어도 하나의 설정을 디스플레이하는 것과 동시에 발생한다.
특정 특징에 따라, 적어도 하나의 설정은 디스플레이될 이미지의 최소 깊이에 대응하는 깊이 정보의 제 1 항목과, 디스플레이될 이미지의 최대 깊이에 대응하는 깊이 정보의 제 2 항목으로 나타난다.
특정 특징에 따라, 적어도 하나의 설정은 디스플레이될 이미지의 평균 깊이에 대응하는 깊이 정보의 항목으로 나타난다.
이롭게, 방법은 사용자의 제스처(guesture)를 분석하는 단계를 포함하는데, 이 분석의 결과는 적어도 하나의 설정을 제어하기 위해 해석된다(interpreted).
다른 특징에 따라, 제스처의 분석은 사용자의 신체(physique) 중 2개의 결정된 부분이 떨어져 있는 거리의 결정 단계를 포함하는데, 결정된 거리는 적어도 하나의 설정에 관련된다.
첨부 도면을 참조하는 다음의 서술을 읽을 시, 본 발명은 더 잘 이해될 것이고, 다른 특정 특징 및 장점도 분명해질 것이다.
본 발명은 3D 입체 영상을 디스플레이하는 환경에서, 관객이 설정 메뉴를 디스플레이하기 위한 방법을 최적화하는 효과를 갖는다.
도 1은 종래 기술의 특정 예시에 따라, 관객을 통한 깊이 및 시차(parallax) 지각을 도시하는 도면.
도 2는 본 발명의 특정 실시예에 따라, 디스플레이 디바이스 상의 3D 이미지에서 설정 메뉴의 3D 그래픽 요소를 도시하는 도면.
도 3a은 본 발명의 특정 실시예에 따라, 도 2의 3D 그래픽 요소 상에서 디스플레이되는 수 개의 설정 레벨을 도시하는 도면.
도 3b는 본 발명의 특정 실시예에 따라, 도 3a의 설정 메뉴와는 상이한 설정 메뉴의 3D 그래픽 요소의 그래픽 표현.
도 4a 내지 도 4c는 본 발명의 특정 실시예에 따라, 사용자에 의해 선택된 이격도 값에 따른 이미지의 보간에 대한 방법을 도시하는 도면.
도 5는 본 발명의 특정 실시예에 따라, 본 발명의 구현을 위한 멀티미디어 단말기의 구조를 개략적으로 도시하는 도면.
도 6 및 도 7은 본 발명의 2개의 특정 실시예에 따라, 도 5의 멀티미디어 단말기에 구현된 설정 메뉴를 디스플레이하는 방법을 도시하는 도면.
도 1은 디스플레이 디바이스 또는 스크린(100)을 보는 관객의 각각 왼쪽 눈(10)과 오른쪽 눈(11)에 의해 보여지는 좌측 및 우측 이미지 간의, 관객에 의해 지각된 깊이와 시차 효과 간의 관계를 도시한다. 2개의 상이한 관찰 지점에 따라, 동일한 장면을 나타내는 좌측 및 우측 이미지(예를 들어, 6.5cm와 동일한 거리만큼 서로 측면으로 오프셋 된 2개의 카메라에 의해 캡처된)의 시간적 순차 디스플레잉의 경우에서, 관객은 왼쪽 눈의 차폐와 오른쪽 눈의 차폐가 각각 예를 들어, LCD의 디스플레이 디바이스 또는 플라즈마 종류의 스크린상에 우측 및 좌측 이미지를 디스플레이하는 것으로 동기화되는 능동 안경을 착용한다. 이들 안경에 기인하여, 관객의 오른쪽 눈은 오직 디스플레이되는 우측 이미지만을 보고, 좌측 눈은 오직 좌측 이미지만을 보게된다. 공간적으로 인터레이스된 좌측 및 우측 이미지 디스플레이의 경우에서, 좌측 및 우측 이미지의 라인은 다음의 방식: 좌측 이미지의 하나의 라인 이후 우측 이미지의 하나의 라인으로(각 라인은 2개의 카메라에 의해 촬영된 장면의 동일한 요소를 나타내는 픽셀을 포함한다), 그 후, 좌측 이미지의 하나의 라인 이후 우측 이미지의 하나의 라인 등의 방식으로, 디스플레이 디바이스 상에 인터레이스된다. 인터레이스된 라인의 디스플레이의 경우에서, 관객은 오른쪽 눈이 오직 우측 라인만을 보게하고, 왼쪽 눈이 오직 왼쪽 라인 만을 보게 하는 것을 가능케 하는 패시브(passive) 안경을 착용한다. 이러한 경우에서, 우측 라인은 제 1 방향에 따라 편광되고, 좌측 라인은 제 2 방향에 따라 편광되어, 패시브 안경의 좌측 및 우측 렌즈가 결과적으로 편광됨으로써, 좌측 렌즈는 좌측 라인 상에 디스플레이되는 정보가 통과하는 것을 허용하게 되고, 우측 렌즈는 우측 라인 상의 디스플레이되는 정보가 통과하는 것을 허용하게 된다. 도 1은 관객으로부터, 더 구체적으로 관객의 오른쪽 눈(11) 및 왼쪽 눈(10)의 시청 방향에 대해 직교하고, 오른쪽 및 왼쪽 눈을 갖는 포함하는 평면으로부터, 일정한 거리 즉 깊이(Zs)에 놓인 디스플레이 스크린 또는 디바이스(100)를 도시한다. 깊이의 기준, 즉 Z = 0은 관객의 눈(10 및 11)에 의해 형성된다. 2개의 객체(101 및 102)는 관객의 눈에 의해 보이게 되는데, 제 1 객체(101)는 스크린(100)의 깊이보다 얕은 Zfront의 깊이이고(Zfront < Zs), 제 2 객체(102)는 스크린(100)의 깊이보다 더 깊은 Zrear의 깊이이다(Zrear > Zs). 즉, 객체(101)는 관객에 의해 스크린(101)에 대한 전경(foreground)에 보이고, 객체(102)는 스크린(100)에 대한 배경에 보인다. 스크린(101)에 대해 배경에 보일 객체에 대하여, 이러한 객체를 나타내는 좌측 이미지의 좌측 픽셀과, 우측 이미지의 우측 픽셀은 관객의 왼쪽 눈(10)과 오른쪽 눈(11)이 떨어져 있는 거리(te)(13)보다 짧은 이격도를 가져야 한다, 즉, 스크린(100) 상에서 좌측 및 우측 이미지 간의 이러한 객체의 디스플레이의 X에서 위치 차는 거리(te)(13)보다 짧다. 좌측 및 우측 이미지 상에서 동일한 객체를 나타내는, 스크린상에서 좌측 및 우측 픽셀의 X에서의 위치 차는 좌측 및 우측 이미지 간의 시차의 레벨에 대응한다. 스크린(100) 상에 디스플레이되는 객체의 관객에 의해 지각되는 깊이와, 스크린상에서 관객의 시차 및 거리의 관계는 다음의 수학식으로 표현된다.
Figure pat00001
Figure pat00002
여기에서,
ZP는 지각된 깊이(미터, m),
P는 좌측 및 우측 이미지 간의 시차,
d는 송신된 이격도 정보,
te는 눈-사이의 거리(m),
Zs는 관객과 스크린 간의 거리(m),
Ws는 스크린의 폭(m),
Ncol은 디스플레이 디바이스의 열의(픽셀) 개수이다.
수학식 2는 이격도(픽셀 단위)가 시차(미터 단위)로 변환되는 것을 가능케 한다.
도 2는 본 발명의 특정 실시예에 따라, 디스플레이 디바이스(2) 상의 3D 이미지에 삽입되는 3D 설정 메뉴의 디스플레이를 도시한다. 설정 메뉴는 사용자 또는 관객이 사용자 인터페이스를 경유하여, 오디오/비디오 필름 종류의 멀티미디어 문서의 파라미터를 설정하는 것을 가능케 하는데, 이 파라미터는 디스플레이 파라미터(예를 들어, 휘도, 명도, 콘트라스트, 이미지 깊이 등과 같은)를 포함하는 세트가 될 수 있고/있거나, 사운드(오디오 볼륨, 밸런스, 고음역 및 저음역 등과 같은)에 관련된 파라미터가 될 수 있다. 예를 들어, 3-차원(3D) 콘텐츠를 나타내는 입체 영상 종류의 이미지는 디스플레이 디바이스(2)(예를 들어, 플라즈마 또는 LCD 스크린, 또는 비디오-프로젝터에 의해 이미지를 투영시키는 스크린) 상에 디스플레이된다. 이미지는 3 차원 객체(21 내지 27)를 포함하는데, 이들 객체의 각각은 주어진 깊이, 즉, 이들 객체를 보는 관객으로부터 주어진 거리를 갖는 이미지를 보는 관객에 의해 보이게 된다. 관객이 보는 객체(들)로부터 관객이 떨어져 있는 거리가 멀어질수록, 객체(들)의 깊이가 더 깊어진다. 따라서, 객체의 깊이는 이들 객체를 보는 관객에 관해 판가름 된다. 이들 객체(21, 22, 24 및 27)의 일부는 스크린(2)의 앞쪽에서, 즉, 스크린으로부터 주어진 거리에서 스크린(2)의 앞쪽에 위치한 관객에 대해 스크린의 깊이보다 낮은 깊이로 보여진다. 집을 나타내는 객체(26)만은 스크린(2)의 뒤쪽에 즉, 스크린(20)의 깊이보다 더 깊은 깊이로 배경 내에 있다. 나무를 나타내는 객체(23)는 스크린의 전경에 즉, 스크린(2)으로부터 주어진 거리에서 이미지를 보는 관객에 대해 스크린(2)의 깊이와 동일한 깊이로 보이게 된다. 마지막으로, 길을 나타내는 객체(25)는 이 객체를 형성하는 픽셀의 공간적 위치에 따라, 상이한 깊이로 보인다. 관객에 의해 보이는 객체(25)는 이미지의 전경에서 개시하여, 객체(26)의 레벨의 배경에서 끝나고, 이 객체(25)는 객체(23)의 레벨에서 스크린 전경을 지나간다. 또한, 3차원으로 나타난 그래픽 요소(20)가 이미지에 삽입된다. 이러한 그래픽 요소(20)는 이미지 깊이, 즉 이미지의 객체(21 내지 27)의 깊이가 설정되게 하는 것을 가능케 하는 설정 메뉴의 부분이다. 이러한 그래픽 요소(20)는 수 개의 단일 그래픽 요소로, 예를 들어, 각각이 깊이 정보의 항목에 예를 들어, 깊이 설정의 레벨에 대응하는 8개의 단일 그래픽 요소(201 내지 208)로 구성된다. 도 2의 예시에서, 단일 그래픽 요소(즉, 본 특허 출원의 나머지에서 증분이라 불리고, 개별적으로 선택될 수 있는)(203, 204 및 205)가 선택되고, 그래픽적으로 강조되고, 예를 들어 그레이 쉐이딩된다(grey shaded). 이들 증분(204 내지 205)은 이미지의 깊이의 설정으로 나타나고, 따라서, 관객이 이와 같이 설정된 깊이의 진폭의 렌더링의 사실적 아이디어를 갖는 것을 가능케 한다. 그래픽 요소(20)는 이미지의 깊이에서 3D로 나타나서, 관객이 설정에 대응하는 깊이의 인상(impression)을 첫눈에 고려하는 것이 쉬워지게 되는데, 이 설정은 이 관객이 설정 메뉴의 매개물을 통해, 주목할만하게는 그래픽 요소(20)의 매개물을 통해 파라미러를 설정하는 설정이다. 8개의 증분(201 내지 208)은 스크린(2) 상에 디스플레이되는 이미지에 대해 설정할 수 있는 깊이의 최대 진폭에 이롭게 대응한다. 관객에 의해 설정된 깊이의 어떠한 특정 파라미터 없이, 초기 깊이 레벨(또한, 특허 출원의 나머지에서 디폴트 설정이라 불리는)로 즉, 스크린(2)에 제공되는 깊이의 레벨로, 즉, 이미지의 기록시, 또는 작동자에 의해 후-제작시에 설정된 파라미터로서, 3D 이미지는 스크린(2)상에 디스플레이된다.
관객에 의해 결정된 명령어의 도입 없이, 그래픽 요소(20)에 의해 나타난 설정 메뉴는 스크린(2) 상에 디스플레이되지 않는다. 그래픽 요소(20)는 사용자로부터의 명령 입력시 예를 들어, 디스플레이 디바이스(2)의 원격 제어 디바이스의 특정 키를 누름으로써, 깊이 설정 키(예를 들어, + 및 - 종류, 또는 ↑ 및 ↓ 또는 ← 및 → 종류)를 누름으로써, 메뉴의 선택을 통해, 음성 명령어의 발음을 통해 또는 관객에 의해 생성된 제스처의 검출을 통해 디스플레이되는데, 이 제스처는 스크린(2)의 앞쪽에 위치한 관객의 임의의 제스처를 검출하기 위한, 예를 들어 깊이 센서가 구비되고, 예를 들어 스크린(2) 위쪽에 위치한 카메라에 의해 검출된다.
관객을 통해 깊이 설정 메뉴를 디스플레이하기 위한 명령어의 도입시, 그래픽 요소(20)가 디스플레이된다. 이롭게, 그래픽 요소(20)는 어떠한 객체도 나타나지 않는 이미지 부분의 레벨에서 디스플레이된다. 일 변형에 따라, 그래픽 요소(20)는 관객에 의해 결정되고, 이 관객에 의해 사전에-설정된 이미지의 부분에 디스플레이된다. 다른 변형에 따라, 그래픽 요소는 이미지에 대한 투명도로 디스플레이되고, 이미지에 포함된 객체를 완전히 차폐시키진 않는다.
설정 메뉴의 제 1 디스플레잉시에, 즉 관객이 스크린(2) 상에서 보는 비디오에 대하여 관객의 주도로 어떠한 깊이의 설정도 수행되지 않았을 때, 그래픽 요소(20)는 강조된 디폴트 깊이 설정으로 디스플레이된다 즉, 디폴트 깊이 설정에 대응하는 증분(들)(203 내지 205)을 시각적으로 드러낸다. 그래픽적으로 강조된 증분(203 내지 205)은 수신되고 디스플레이되는 이미지의 콘텐츠에 적용된 3D 효과의 진폭을 나타낸다. 강조되지-않은 증분(201, 202, 206, 207 및 208)은 이미지에 대해 이용가능하고 가능한 깊이 설정에 이롭게 대응하는데, 이러한 설정은 관객이 깊이를 수정하기 위해 선택할 수 있는 설정이다. 제 1 증분(201)은 이미지에 대해 파라미터를 설정할 수 있는 깊이의 최소값(관객과 가장 앞쪽에서 관찰되는 이미지 간의 최소 거리에 대응하는)에 대응하고, 증분(208)은 이미지에 대해 파라미터를 설정할 수 있는 최대 깊이 값(관객과 가장 후면에서 관찰되는 이미지의 객체 간의 최대 거리에 대응하는)에 대응한다. 일 변형에 따라, 디폴트 설정은 대응하는 증분의 강조된 부분을 통해 디스플레이되진 않지만, 이 디폴트 설정은 최소 및 최대 깊이 값에, 즉 그래픽 요소(20)의 증분(201 내지 208)의 세트에 대응한다. 이러한 변형에 따라, 예를 들어, 모든 객체가 전경(즉, 필수적으로 스크린(2)의 앞쪽에)에 보이게 되도록, 앞쪽을 향해 이미지의 깊이를 압축함으로써, 또는 모든 객체가 배경(필수적으로 스크린(2)의 뒤쪽)에 보이게 되도록, 뒤쪽을 향해 이미지의 깊이를 오프셋함으로써, 관객은 3D 효과의 진폭을 감소시킬 수 없다, 즉 스크린의 깊이 주위의 이미지의 깊이의 진폭을 감소시킬 수 없다.
깊이 설정을 수정하기 위하여, 관객은 깊이에 대해 수정하기 원하는 설정에 대응하는 이들 증분을 강조시킴으로써, 예를 들어, 이들 증분의 색을 수정함으로써, 디스플레이한다. 이를 수행하기 위해, 관객은 예를 들어, 증분 위쪽의 이동 커서를 이동시키고, 특정 명령어(예를 들어, 특정 키, 예를 들어 "OK" 종류의 키를 누름으로써, 또는 결정된 소리 또는 단어, 예를 들어 단어 "OK" 또는 단어 "SELECTION"의 결정된 제스처 또는 발음의 원격 제어 또는 실행으로부터)의 도입을 통해 원하는 설정에 대응하는 증분(들)을 선택한다. 이롭게, 이미지의 깊이의 설정은 깊이에 관련된 이미지의 파라미터를 동적으로 수정하고, 관객은 스크린(2) 상에 디스플레이 되는 이미지에 대한 관객의 깊이 설정의 효과를 즉시 본다. 이미지는 이미지에 관련된 이격도 정보로부터 보간된 이미지의 생성에 의해 깊이 설정에 따라 수정된다. 새롭게 보간된 이미지의 생성은 도 4a 내지 도 4c에 대해 더 상세히 서술된다. 관객에 의해 수행된 깊이 설정은 메모리에 저장되고, 이 설정은 관객이 다시 깊이 설정을 수정하기 원할 때, 디스플레이될 설정이다.
일 변형에 따라, 깊이의 설정은 이미지에 적용되기 전에, 먼저 설정 메뉴의 디스플레잉에 적용된다, 즉 깊이에 관련된 새로운 설정을 갖는 이미지의 디스플레이는 깊이에 관련된 새로운 설정을 고려하는 설정 메뉴의 디스플레이에 후속된다. 이러한 변형에 따라, 사용자는 이미지에 깊이 설정을 적용하기 전에, 설정 메뉴의 그래픽 요소에 대한 깊이 설정의 영향을 사실적인 방식으로 프리뷰(preview)할 수 있다. 따라서, 설정이 사용자가 보려는 것에 대응하지 않는다면, 이 사용자는 이미지에 이들 설정을 적용하기 전에, 이들 설정을 변경할 수 있다.
도 3a는 본 발명의 3가지 실시예에 따라, 그래픽 요소(20) 상에 디스플레이된 수 개의 설정 레벨을 도시한다. 도 3a에 도시된 예시에서, 그래픽 요소(3a, 3b 및 3c)(도 2의 그래픽 요소(20)에 대응하는)는 또한, 본 특허 출원의 나머지에서 증분이라 불리는, 각각의 기본 부분{(31a 내지 39a), (31b 내지 39b) 및 (31c 내지 39c)}으로 구성되는 3-차원 크기의 형태를 갖는다. 그래픽 요소(3a)에 의해 도시된 예시에서, 단일 증분(38a)이 선택된다. 이러한 경우에서, 관련된 깊이 설정은 3D 효과의 제한된 진폭(서로 인접한 최소 및 최대 깊이 값을 갖는, 관객에 가장 가까운 객체와, 관객으로부터 더 먼 객체 간의 깊이에서의 약간의 차, 예를 들어 초기 3D 진폭의 1/9)에 대응한다. 증분(35a)이 스크린 전경의 깊이에 접근하는 깊이 레벨에 대응한다는 것을 고려해보면, 증분(38a)에 대응하는 설정은 이 증분이 관객에 의해 스크린의 후면에 보이게 될 때, 객체가 시프트되는 것을 초래한다, 즉 객체의 깊이 값은 스크린의 값보다 더 크다.
그래픽 요소(3b)에 의해 도시된 예시에서, 3개의 증분(34b, 35b 및 36b)이 선택된다. 이러한 경우에서, 관련된 깊이 설정은 3개의 증분이 선택될 때, 요소(3a)에 대해 도시된 설정에 대응하는 진폭보다 더 큰 진폭에 대응한다. 이러한 예시에 따라, 3D 효과는 스크린의 깊이 주위에 분포되는데(이 효과는 증분(35b)에 대응한다고 간주됨), 이미지의 깊이의 진폭은 스크린 전경의 깊이 근처 중심이 맞춰진다. 깊이의 최소값은 증분(34b)에 대응하고, 객체가 스크린의 앞쪽에(즉, 스크린의 깊이 값보다 낮은 깊이 값으로) 보이게 하는 것을 가능케 하며, 깊이의 최대값은 증분(36b)에 대응하고, 객체가 스크린의 뒤쪽 내에(즉, 스크린의 깊이 값보다 더 큰 깊이 값으로) 있게 하는 것을 가능케 한다. 그래픽 요소(3b)가 전체적으로 이미지의 디폴트 설정에 대응한다고 간주하면, 증분(31b)은 최소 디폴트 깊이 값에 대응하고, 증분(39b)은 이미지의 최대 디폴트 값에 대응하며, 이러한 설정은 스크린 전경 주위에 중심이 맞춰진 3D 효과의 진폭의 감소에 대응한다.
그래픽 요소(3c)에 의해 도시된 예시에서, 6개의 증분(31c 내지 36c)이 선택된다. 이러한 경우에서 관련된 깊이 설정은 6개의 증분이 선택될 때, 요소(3a 및 3b)에 대해 도시된 설정에 대응하는 진폭보다 더 큰 진폭에 대응한다. 이러한 예시에 따라, 3D 효과는 스크린의 앞쪽에(여전히, 스크린의 깊이가 증분(35c)에 대응한다고 간주하여) 전역으로 있게 되는데, 이미지의 깊이 진폭은 스크린 전경의 앞에 필수적으로 유도된다. 깊이의 최소값은 증분(31c)에 대응하고, 이 최소값은 객체가 스크린의 앞쪽에(즉, 스크린의 깊이 값보다 낮은 깊이 값으로) 보여지는 것을 가능케 하며, 깊이의 최대값은 증분(36c)에 대응하고, 이 최대값은 객체가 스크린의 약간 뒤쪽에서(스크린의 깊이 값보다 더 큰 깊이 값으로) 있는 것을 가능케 한다. 그래픽 요소(3c)가 이미지의 디폴트 설정에 전역으로 대응하여, 증분(31c)은 최소 디폴트 깊이 값에 대응하고, 증분(39c)은 이미지의 최대 디폴트 깊이 값에 대응한다고 간주되면, 이러한 설정은 3D 효과의 진폭에서 약간의 감소에 대응하게 되어, 스크린의 앞쪽에서의 효과가 디폴트 설정에 대응하는 반면{증분(31c 내지 35c)의 설정이 선택되는}, 스크린의 뒤쪽에서의 효과는 디폴트 설정보다 덜 중요하게 된다(증분(37c 내지 39c)은 선택되지 않는다).
스크린의 깊이가 각각 그래픽 요소(3a, 3b 및 3c)의 증분(31a, 31b 및 31c)의 깊이의 레벨에 대응한다고 고려되면, 가능한 설정은 오직 객체가 스크린의 배경으로 시프트되게 하는 것만을, 또는 객체를 스크린의 전경 상에 유지시키게 하는 것만을 가능케 한다. 반대로, 스크린 깊이가 각각 그래픽 요소(3a, 3b 및 3c)의 증분(39a, 39b 및 39c)의 깊이의 레벨에 대응한다고 고려되면, 가능한 설정은 오직 객체가 스크린의 전경에 즉, 스크린의 전경에 또는 스크린의 앞쪽으로, 시프트 되게 하는 것만을 가능케 한다.
도 3b는 본 발명의 특정 실시예에 따라, 일반적 형태가 도 3a의 형태와는 상이한 설정 메뉴의 3D 그래픽 요소의 그래픽 표현을 도시한다. 도 3b의 예시에서, 깊이 설정 그래픽 요소는 깊이(Z)의 방향에서 좌측으로 확장하는 3차원의 5개의 직각의 평행육면체(31d 내지 35d)를 포함한다. 각 평행육면체(31d 내지 35d)는 그래픽 요소(3d)의 일 부분에 대응하는데, 각 부분은 주어진 깊이 설정에 관련된다.
당연히, 그래픽 요소의 형태는 도 3a 및 도 3b에 대해 서술된 요소, 즉, 3D 사다리(ladder) 형태 또는 일련의 3D 평행육면체로 제한되지 않고, 임의의 3-차원의 기하학적 형태, 예를 들어, 3-차원 디스크로 표시되는 기본 부분으로 분할되는 예를 들어 3-차원 실린더 또는, 예를 들어, 3차원 구형 슬라이스로 표시되는 기본 부분으로 분할되는 구형으로 확장된다. 마찬가지로, 그래픽 요소의 선택된 기본 부분(들)의 디스플레이는 선택되지-않은 다른 부분의 디스플레이와 상이한 배색(colouration)에 제한되지 않고, 예를 들어 선택된 부분의 텍스쳐의 수정을 통해, 선택되지-않은 부분을 투명하게 함으로써, 또는 선택된 부분을 부조에 삽입함으로써, 알려진 모든 강조 수단으로 확장된다.
도 4a 내지 도 4c는 본 발명의 특정 실시예에 따라, 사용자에 의해 선택된 이격도 값에 따른 이미지의 보간을 위한 방법을 도시한다. 이격도 맵을 이용한 이미지 보간은, 이미지 간 픽셀의 이격도를 고려하는 하나 또는 수 개의 기준 이미지로부터의 중간 이미지의 보간이다. 실제로, 도 1에 대해 서술된 바와 같이, 스크린(2) 상에 디스플레이되는 입체 이미지는 좌측 이미지 및 우측 이미지의 조합에 의해 획득되는데, 이 좌측 및 우측 이미지는 동일한 장면을, 하지만 2개의 상이한 관찰 지점을 이용하여 나타낸다. 결과는 좌측 및 우측 이미지상에 보이는 동일한 객체가 이들 이미지의 각각에서 하지만, 각 이미지상의 상이한 공간적 위치로 나타난다는 것이다. 이 캡처된 객체는 우측 이미지상에서 주어진 x의 위치로 나타나고, 동일한 이미지는 좌측 이미지상에서 수 개의 픽셀만큼 시프트된 x의 위치로 나타난다. 이러한 공간적 시프트는 우측 및 좌측 이미지의 조합으로부터 초래되는 입체 이미지의 이격도에 대응하는데, 이 조합은 사람의 두뇌에 의해 이루어지고, 부조가 지각되게 하는 것을 가능케 한다. 따라서, 우측 및 좌측 기준 이미지의 쌍의 좌측 기준 이미지로부터(또는 우측 기준 이미지로부터) 개시할 때, 수정된 이격도를 이용한 보간을 통해 새로운 좌측 이미지(각각 새로운 우측 이미지)를 생성하는 것이 가능할 수 있다. 기준 우측 이미지와(각각 기준 좌측 이미지와) 새롭게 생성된 좌측 이미지(또는 각각 새롭게 생성된 우측 이미지)의 조합은 입체 이미지가 결과적으로 수정된 깊이 정보(이격도에 관련된)를 갖고 얻어지도록 하는 것을 가능케 한다.
이미지 보간은 좌측 및 우측 기준 이미지를 연결하는 이격도 벡터를 따라 보간된 이미지 위에 기준 이미지(좌측 또는 우측)의 투영을 필요로 한다. 도 4a는 예를 들어, 입체 이미지의 좌측 및 우측 이미지에 대응하는 2개의 기준 이미지 J(40) 및 K(41)와, 2개의 이미지 J(40)와 K(41) 간에 위치한 보간된 이미지 H(40i)를 도시한다. 이미지 J(40)의 픽셀{u(401)}의 보간을 통해 이미지 H(40i)의 보간된 픽셀{u'(401i)}을 얻기 위하여, 이미지 J(40)의 완전한 이격도 맵을 이미지 H(40i)로 투영함으로써 보간된 이미지 H(40i)에 대한 이격도 맵을 계산하여, 이격도 값을 이미지 H(40i)에 할당하는 것이 필요하다. 이격도 맵의 계산은 이미지 J(40)의 전체 픽셀의 개수 이하인 이미지 J(40)를 나타내는 픽셀의 개수에 대해 수행된다. 이미지 J의 픽셀{u(401)}은 이격도 값{disp(u)}을 갖는다. 이미지 K에서 대응하는 픽셀(411)은 u-disp(u)로 한정되고, 동일한 라인 상에 위치한다(어떠한 수직 변위도 존재하지 않는다). 이미지 H에서 대응하는 픽셀은 u-a.disp(u)로 한정되는데, 크기 인자는 기본 라인(JH 및 JK)(이미지(J,H 및 K)가 정렬될 때 얻어지는) 간의 비율이다. 인자는 이롭게 0 내지 1로 포함된다. 도 4b는 보간된 이미지 H를 얻기 위한 이미지 J의 이격도 보상 보간을 더 정밀하게 도시한다. 보간된 이미지 H의 u' 및 v'는 u 및 v의 이격도 값, 각각 disp(u) 및 disp(v)를 갖는 이미지 J의 픽셀{u(401)} 및 v로부터 각각 추정된다. 이격도 벡터를 따라 이미지 J의 픽셀(u 및 v)의 투영에 의해 얻어진 이미지 H의 점(u' 및 v')은 각각 위치 u'=u-a.disp(u) 및 v'=v-a.disp(v) 에 위치한다. 그런 후에, 이격도 값은 이미지 H에서 u' 및 v'에 가장 인접한 픽셀 즉, uH(401i) 및 vH에 할당된다. H 상에 J의 이격도 맵의 투영은 홀(hole)을 생성한다. 실제로, 도 4b의 픽셀(405)의 경우에서와 같이, 보간된 이미지 H의 일부 픽셀은 어떠한 이격도 값도 할당하지 않고, 이격도 벡터에 따른 H 상의 이미지 J의 픽셀의 투영은 픽셀에 마주치지 않는다. 이러한 현상은 예를 들어, 이미지 J의 픽셀마다 이격도에서 상당한 변동이 존재할 때 발생한다. 그런 후에, 예를 들어, 공간적 보간을 통해 이미지의 재구축된 이격도 맵에서 홀을 채우는 것이 필요하다. 3개의 경우 자체가 소개된다. 제 1 경우에서, 홀은 하나의 픽셀 보다 작은 크기를 갖고, 이 홀은 동일한 라인 상에서 이 홀을 둘러싸는 픽셀의 이격도 값을 평균냄으로써 채워진다. 일 변형에 따라, 홀은 라인 상에 가장 가까운 픽셀의 이격도 값을 취함으로써 채워진다. 제 2 경우에서, 분리된 픽셀, 즉 어떠한 이격도 값도 갖지 않는 픽셀에 의해 둘러싸인 이격도 값을 갖는 픽셀이 제거된다, 즉 이들 픽셀에 할당된 이격도 값은 고려되지 않는다. 실제로, 이들 픽셀에 할당된 이격도는 이웃 픽셀의 이격도 값에 대해 연접하지 않고, 디스플레이에서 시각적 아티팩트(artefact)를 생성할 수 있다. 제 3 경우에서, 홀은 하나의 픽셀보다 큰 크기이다. 이러한 제 3 경우에서, 이들 홀이 폐쇄(즉, 이미지 H의 픽셀이 이 픽셀이 대응하는 이미지 K의 픽셀에 의해 감춰진다) 및 이러한 홀의 픽셀의 이격도에 대응하고, 이들 픽셀에 할당된 이격도 값이 배경 이격도 값이라고 고려된다.
일단 이격도 맵이 보간된 이미지 H(40i)에 대해 얻어지면, 인터-이미지 보간(즉, 이미지 J 및 K 간의)은 그레이 레벨 값을 얻어서, 보간된 이미지 H(40i)의 픽셀을 할당하기 위해 이격도 벡터를 따라 수행된다. 2개의 이격도 벡터 종류를 구별하는 것이 가능할 수 있다:
- 이미지 J의 이격도 맵의 투영에 의해 한정된 벡터 : 보간된 이미지의 픽셀에 할당된 그레이 레벨은 벡터의 2개의 말단 지점에서의 그레이 레벨로부터 계산되는데, 하나의 지점은 이미지 J에 속하고, 다른 하나의 지점은 이미지 K에 속한다.
- 공간적으로 보간된 벡터(즉, 위에 서술된 바와 같이 채워진 홀에 대해) : 보간된 이미지 H에 대응하는 픽셀은 이미지 J에서 폐쇄될 것이라고 간주된다. 그런 후에, 이들 픽셀은 이미지 K의 픽셀로부터 보간되고, 이들 픽셀에 할당된 그레이 레벨은 이미지 K에 속하는 벡터의 말단 지점의 그레이 레벨로부터 계산된다.
도 4c는 2개의 수신된 기준 이미지로부터 수 개의 이미지의 보간의 예시를 도시한다. 도 4c의 예시에 따라, 6개의 이미지(4011 내지 4016)는 기준 이미지(401 및 411) 중 적어도 하나로부터 이격도 보상 보간에 의해 얻어진다. 이러한 예시에 따라, 크기 인자는 0 내지 1로 포함된다, 즉 보간된 이미지(4011 내지 4016) 모두는 기준 이미지(401 및 411) 사이에 포함된다. 이러한 예시에 따라, 3D 효과의 최대 진폭은 기준 이미지(401 및 4011)를 결합함으로써 얻어지고, 3D 효과의 진폭은 보간된 이미지가 기준 이미지에 인접할 때, 모두가 더 약해지는 보간된 이미지(4011 내지 4016)와 기준 이미지(401 또는 411)의 조합에 의해 얻어진다. 가장 낮은 진폭을 갖는 3D 효과는 이미지(401 및 4011)를 결합함으로써, 또는 이미지(411 및 4016)를 결합함으로써 얻어진다.
당연히, 본 발명은 기준 이미지 중 적어도 하나로부터 6개의 이미지의 보간에 제한되지 않고, 이미지의 개수(x) 예를 들어, 7, 10, 20, 50, 또는 100개의 또는 그 이상의 이미지의 보간으로 확장된다. 게다가, 본 발명은 원래의 3D 효과(즉, 1보다 낮은 크기 인자를 갖는)의 진폭보다 낮은 진폭의 3D 효과를 생성하기 위한 이미지의 보간에 제한되지 않고, 기준 이미지의 조합에 의해 얻어진 3D 효과(즉, 1보다 높은 크기 요소)의 진폭보다 더 높은 진폭의 3D 효과를 얻기 위한 이미지의 보간으로 확장된다.
도 5는 본 발명의 특정 실시예에 따라, 본 발명의 구현을 위한 멀티미디어 단말기(5)의 구조를 개략적으로 도시한다. 단말기(5)는 디스플레이 디바이스(501)를 구비한다. 단말기(5)는 프로그램 메모리에 연결된 중앙 처리 유닛(502)과, 실시간 오디오/비디오 데이터가 송신되는 것을 가능케 하는 높은 비트 속도 디지털 네트워크(510)와의 통신을 위한 인터페이스(508)를 포함한다. 이 네트워크는 예를 들어, 표준 IEEE1394를 준수하는 네트워크이다. 또한, 단말기(5)는 원격 제어기(511)로부터 신호를 수신하는 적외선 신호 수신기(503), 데이터베이스의 저장을 위한 메모리(507), 및 디스플레이 디바이스(501)에 송신되는 오디오비주얼(audiovisual) 신호의 생성을 위한 오디오/비디오 디코딩 논리 회로(509)를 포함한다. 원격 제어기(511)는 내비게이션 키(↑,↓,→ 및 ←), 숫자 키패드 및 "OK" 키를 구비한다. 움직임 센서가 구비된 자이레이션(gyration) 종류의 원격 제어기 또한 사용될 수 있다.
또한, 단말기는 종종 OSD(On Screen Display) 회로라 불리는, 스크린상의 데이터 디스플레이 회로(506)를 포함한다. OSD 회로(506)는 메뉴의 스크린 디스플레이 상에서 그림 문자(예를 들어, 디스플레이되는 채널에 대응하는 번호)를 가능케 하고, 본 발명에 따라 내비게이팅 메뉴를 디스플레이할 수 있는 텍스트 및 그래픽 생성기이다. OSD 회로는 중앙 처리 유닛(502)과, 그래픽 요소(20)의 디스플레이 신호를 생성하기 위해 설계된 모듈로부터 정보를 수신한다.
단말기(5)가 재생할 수 있는 멀티미디어 문서는 오디오비주얼 문서, 오디오 문서, 또는 포토이다.
일 변형에 따라, 원격 제어기(511)는 관객의 제스처를 검출할 수 있는 디바이스로 대체된다. 그러면, 제스처는 설정 메뉴의 그래픽 요소 상에서 내비게이션 명령어로 변환될 단말기(5)의, 전용 또는 미전용 모듈에 의해 분석된다. 다른 변형에 따라, 원격 제어기는 음성 명령어를 등록할 수 있는 마이크로 종류의 디바이스로 대체된다. 그러면, 음성 명령어를 구성하는 소리는 설정 메뉴의 그래픽 요소에서 내비게이션 명령어로 변환될 단말기(5)의, 전용 또는 미전용 모듈에 의해 분석된다.
도 6은 본 발명의 비-제한적이고 특히 이로운 제 1 실시예에 따라, 멀티미디어 단말기(5)에서 구현되는 설정 메뉴의 디스플레이를 위한 방법을 도시한다.
초기화 단계(60) 동안, 단말기의 상이한 파라미터가 갱신된다.
그런 후에, 단계(61) 동안, 3개의 공간적 치수를 갖는 그래픽 메뉴를 포함하는 설정 메뉴는 디스플레이 스크린 종류(예를 들어, LCD 또는 플라즈마)의 또는 투영 스크린 종류의 디스플레이 디바이스 상에 디스플레이된다. 설정 메뉴는 디스플레이 디바이스 상에 디스플레이되는 3D 비디오 콘텐츠 또는 3D 이미지에 삽입된다. 그래픽 요소의 공간적 치수 중 하나는 깊이 방향, 이롭게는 디스플레이 디바이스 상에 디스플레이되는 3D 비디오 콘텐츠의 또는 3D 이미지의 깊이 방향에 따라 확장한다. 이롭게, 설정 메뉴는 명령어 도입 디바이스, 예를 들어, 원격 제어기, 음성 인식 디바이스, 또는 제스처 인식 디바이스를 이용하여 사용자 입력의 제 1 명령어의 입력시 디스플레이된다. 그래픽 요소의 디스플레이 시, 제 1 타임아웃(예를 들어 1, 2, 3, 4 또는 5 초와 동일한 지속 기간의)이 개시되고, 제 1 타임아웃의 종료 때, 어떠한 사용자의 행위도 검출되지 않는다면, 그래픽 요소의 디스플레이가 지워진다.
단계(62) 동안, 깊이 정보의 적어도 하나의 항목을 나타내는 설정이 그래픽 요소 상에 디스플레이된다. 이롭게, 설정은 디스플레이된 3D 이미지에 포함된 객체의 깊이 최소값 및 최대값을 나타낸다. 일 변형에 따라, 설정은 3D 이미지의 객체의 평균 깊이를 나타낸다. 이롭게, 설정의 디스플레이는 명령어 도입 디바이스를 이용하여 제 2 사용자 명령어 입력에 의해 개시된다. 설정의 디스플레이에서, 제 2 타임아웃(예를 들어, 1, 2, 3, 4 또는 5초와 동일한 지속 기간)이 개시되고, 이 타임 아웃의 종료 때, 어떠한 사용자의 행위도 검출되지 않는다면, 그래픽 요소의 디스플레이가 지워진다. 설정이 관객(또는 사용자)에 의해 수정되지 않았을 때, 파라미터가 디폴트로 설정되었기 때문에, 설정은 3D 비디오 콘텐츠(또는 3D 이미지)의 3D 효과의 진폭을 이롭게 나타낸다. 명령어의 입력을 통하여, 관객은 3D 이미지의 깊이의 설정을 수정하는데, 수정은 설정 메뉴의 그래픽 요소 상에서 디스플레이되는 깊이 설정에 대해 이루어진다. 제 2 타임아웃의 만기시, 어떠한 사용자의 명령어도 검출되지 않는다면, 설정 메뉴의 설정 및 그래픽 요소는 스크린에서 사라진다. 설정 메뉴가 다시 나타나게 하기 위하여, 관객은 새로운 제 1 명령어를 입력한다. 일 변형에 따라, 설정 메뉴의 디스플레이는 제 2 사용자 명령어의 입력에 의해 제어된다.
도 7은 본 발명의 비-제한적이고 특히 이로운 제 2 실시예에 따라, 멀티미디어 단말기(5)에 구현된 설정 메뉴의 디스플레이를 위한 방법을 도시한다.
초기화 단계(70) 동안, 단말기의 상이한 파라미터가 갱신된다.
그런 후에, 단계(71) 동안, 설정 메뉴는 디스플레이 디바이스 상에서 디스플레이된다. 단계(71)는 도 6에 대하여 서술된 단계(61)와 동일하므로, 이하에 더 서술되지는 않는다.
단계(72) 동안, 사용자(또는 관객)는 이 사용자가 보는 3D 비디오 콘텐츠 또는 3D 이미지의 깊이의 설정을 제어하기 위한 특정 제스처를 실행한다. 제스처는 예를 들어, 깊이 검출기가 구비된 카메라에 의해 캡처되고, 카메라에 의해 기록된 정보는 시청한 3D 이미지의 깊이의 설정을 제어할 목적으로 변환되기 위하여, 멀티미디어 단말기의 특수 또는 비 특수 모듈에 의해 분석된다. 제스처는 예를 들어 사용자의 2개의 손 간의 거리에 대응한다. 일단 이동이 종료되면, 2개의 손이 떨어져 있는 거리는 멀티미디어 단말기의 카메라와 모듈에 의해 결정되고, 2개의 손이 떨어져 있는 거리는 사용자에 의해 요구되는 3D 효과의 진폭에 대응하여 변환된다. 일 변형에 따라, 사용자에 의해 수행된 제스처는 우측으로의 왼쪽 손(또는 좌측으로의 오른쪽 손)의 스위핑(sweeping)에 대응하는데, 이러한 제스처는 커서의 변위에 대한 명령어로서 멀티미디어 모듈에 의해 변환되어, 이 커서는 설정 메뉴의 그래픽 요소 상에서 일 깊이 설정 레벨로부터 다른 깊이 설정 레벨로 움직이게 된다.
그런 후에 단계(73) 동안, 명령어는 그래픽 요소의 하나 이상의 부분을 선택하기 위하여 사용자에 의해 입력되고, 각 부분은 특정 설정 레벨에 관련된다, 즉 깊이 설정 레벨에 대응한다. 사용자의 명령어가 사용자의 제스처에 대응하는 경우에서, 일 부분 즉, 설정 레벨의 선택은 특정 제스처 즉, 예를 들어 한 손의 위에서 아래로의 이동에 의해 제어된다. 일 변형에서, 하나 또는 수 개의 설정 레벨의 선택은 임의의 다른 명령어 수단에 의해 예를 들어, 원격 제어의 키(예를 들어, "OK" 키)를 누름으로써 또는, 음성 코드의 발음(예를 들어 단어 "SELECTION")에 의해 제어된다. 수 개의 설정 레벨의 선택은 원하는 3D 효과의 진폭의 설정에, 즉 사용자가 시청하는 전경의 객체와 배경의 객체 간의 깊이 또는 거리의 차에 이롭게 관련된다. 즉, 수 개의 레벨의 선택은 3D 이미지의 최소 깊이에 대응하는 정보 깊이의 제 1 항목을 나타내는 제 1 설정과, 3D 이미지의 최대 깊이에 대응하는 깊이 정보의 제 2 항목을 나타내는 제 2 설정에 대응하는데, 최대 깊이 및 최소 깊이 간의 차는 디스플레이 디바이스 상에 디스플레이될 3D 이미지의 효과의 진폭에 대응한다.
마지막으로, 단계(74) 동안, 사용자에 의해 제어된 그래픽 요소의 부분(들)의 설정은 도 6에 대해 단계(62)에서 서술된 바와 같이 디스플레이된다. 이롭게, 깊이 설정이 이 콘텐츠를 관찰하는 사용자에 의해 수행된 3D 이미지는 사용자에 의해 제어된 설정에 따라 수정된다. 그런 후에, 사용자의 설정이 적용되는 원래의 3D 이미지의 콘텐츠에 대응하는, 새로운 3D 이미지는 그래픽 요소에 대한 설정의 디스플레이를 이용하여 동시에 디스플레이된다. 새로운 3D 이미지의 생성은 입체 영상을 통한 3D 이미지를 생성하는 좌측 및 우측 이미지 중 적어도 하나의 이미지로부터 이격도 보상 보간에 의해 이롭게 얻어지고, 보간된 이미지는 입체 영상을 통한 새로운 3D 이미지의 생성을 위한 기준 이미지 중 하나를 대체한다.
당연히, 본 발명은 이전에 설명된 실시예에 제한되지 않는다.
특히, 본 발명은 설정 메뉴를 디스플레이하는 방법에 제한되지 않고, 이러한 방법을 구현하는 멀티미디어 단말기, 그리고 디스플레이 방법을 구현하는 멀티미디어 단말기를 포함하는 디스플레이 디바이스에 확장된다. 또한, 본 발명은 3D 멀티미디어 콘텐츠에서 설정 메뉴의 PIP(Picture in Picture, 픽쳐 속 픽쳐)를 포함하는 이미지 처리를 위한 방법에 관한 것이다.
100 : 스크린 2 : 스크린
10 : 왼쪽 눈 11 : 오른쪽 눈
22, 23, 24, 25, 26 : 객체

Claims (8)

  1. 설정 메뉴를 디스플레이하는 방법에 있어서,
    깊이 방향(z)에 따라, 치수 중 하나가 확장하는 3-차원 그래픽 요소(20)를 포함하는 상기 설정 메뉴를 디스플레이하는 단계(61, 71),
    깊이 정보의 적어도 하나의 항목을 나타내는 적어도 하나의 설정(203, 204, 205)을 입력하는 단계로서, 상기 적어도 하나의 설정은 상기 깊이 방향(z)에 따라, 상기 그래픽 요소(20)를 디스플레이하는데 적용되는, 입력 단계를
    포함하는 것을 특징으로 하는, 설정 메뉴를 디스플레이하는 방법.
  2. 제 1항에 있어서, 상기 그래픽 요소(20)의 적어도 하나의 부분의 선택 단계를 포함하고, 상기 적어도 하나의 선택된 부분(203, 204, 205)은 상기 적어도 하나의 설정에 관련되는 것을 특징으로 하는, 설정 메뉴를 디스플레이하는 방법.
  3. 제 1항 또는 제 2항에 있어서, 상기 깊이가 상기 적어도 하나의 설정에 의존하는 적어도 하나의 3-차원 이미지를 디스플레이하는 단계를 포함하고, 상기 적어도 하나의 이미지의 디스플레이는 상기 그래픽 요소(20)의 디스플레이에서 적어도 하나의 설정(203, 204, 205)의 적용에 후속되는 것을 특징으로 하는, 설정 메뉴를 디스플레이하는 방법.
  4. 제 1항 또는 제 2항에 있어서, 깊이가 상기 적어도 하나의 설정에 의존하는 적어도 하나의 3-차원 이미지를 디스플레이하는 단계를 포함하고, 상기 적어도 하나의 이미지의 디스플레이는 상기 그래픽 요소(20)의 디스플레이에서 상기 적어도 하나의 설정(203, 204, 205)의 적용과 동시에 일어나는 것을 특징으로 하는, 설정 메뉴를 디스플레이하는 방법.
  5. 제 1항 또는 제 2항에 있어서, 상기 적어도 하나의 설정은 디스플레이될 이미지의 최소 깊이에 대응하는 깊이 정보의 제 1 항목과, 디스플레이될 상기 이미지의 최대 깊이에 대응하는 깊이 정보의 제 2 항목으로 나타나는 것을 특징으로 하는, 설정 메뉴를 디스플레이하는 방법.
  6. 제 1항 또는 제 2항에 있어서, 상기 적어도 하나의 설정은 디스플레이될 이미지의 평균 깊이에 대응하는 깊이 정보의 항목을 나타내는 것을 특징으로 하는, 설정 메뉴를 디스플레이하는 방법.
  7. 제 1항 또는 제 2항에 있어서, 사용자 제스처의 분석 단계(72)를 포함하고, 상기 분석의 결과는 상기 적어도 하나의 설정을 제어하기 위해 변환되는 것을 특징으로 하는, 설정 메뉴를 디스플레이하는 방법.
  8. 제 7항에 있어서, 상기 제스처의 상기 분석은 사용자의 신체의 2개의 결정 부분이 떨어져 있는 거리의 결정 단계를 포함하고, 상기 결정된 거리는 상기 적어도 하나의 설정에 관련되는 것을 특징으로 하는, 설정 메뉴를 디스플레이하는 방법.
KR1020110039172A 2010-05-03 2011-04-26 설정 메뉴를 디스플레이하기 위한 방법 및 대응하는 디바이스 KR20110122057A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1053394A FR2959576A1 (fr) 2010-05-03 2010-05-03 Procede d’affichage d’un menu de reglage et dispositif correspondant
FR1053394 2010-05-03

Publications (1)

Publication Number Publication Date
KR20110122057A true KR20110122057A (ko) 2011-11-09

Family

ID=43300715

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110039172A KR20110122057A (ko) 2010-05-03 2011-04-26 설정 메뉴를 디스플레이하기 위한 방법 및 대응하는 디바이스

Country Status (6)

Country Link
US (1) US8694922B2 (ko)
EP (1) EP2385454B1 (ko)
JP (1) JP5933931B2 (ko)
KR (1) KR20110122057A (ko)
CN (1) CN102238408B (ko)
FR (1) FR2959576A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US20120293636A1 (en) * 2011-05-19 2012-11-22 Comcast Cable Communications, Llc Automatic 3-Dimensional Z-Axis Settings
JP5926500B2 (ja) * 2011-06-07 2016-05-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
WO2013081304A1 (ko) * 2011-11-28 2013-06-06 에스케이플래닛 주식회사 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치, 방법 및 그에 대한 기록매체
WO2013081281A1 (ko) * 2011-11-29 2013-06-06 에스케이플래닛 주식회사 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체
KR101309783B1 (ko) * 2011-12-30 2013-09-23 삼성전자주식회사 디스플레이 장치 및 방법
US8918453B2 (en) * 2012-01-03 2014-12-23 Qualcomm Incorporated Managing data representation for user equipments in a communication session
CN104039581B (zh) * 2012-01-09 2017-08-18 奥迪股份公司 用于在车辆中产生用户界面的3d‑图示的方法和装置
US9477303B2 (en) * 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
JP5953916B2 (ja) * 2012-05-02 2016-07-20 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN102710956B (zh) * 2012-06-04 2014-12-31 天马微电子股份有限公司 一种裸眼立体追踪显示方法及装置
CN103679127B (zh) * 2012-09-24 2017-08-04 株式会社理光 检测道路路面的可行驶区域的方法和装置
US8890812B2 (en) 2012-10-25 2014-11-18 Jds Uniphase Corporation Graphical user interface adjusting to a change of user's disposition
KR20140061098A (ko) * 2012-11-13 2014-05-21 엘지전자 주식회사 영상표시장치, 및 그 동작방법
CN102970498A (zh) * 2012-11-30 2013-03-13 深圳Tcl新技术有限公司 菜单立体显示的显示方法及显示装置
CN104346136B (zh) * 2013-07-24 2019-09-13 腾讯科技（深圳）有限公司 一种图片处理的方法及装置
TWI556622B (zh) * 2013-10-14 2016-11-01 鈺立微電子股份有限公司 快速產生照相機的距離對視差關係表的系統及其相關方法
CN107783704B (zh) * 2017-09-27 2021-07-23 北京小米移动软件有限公司 图片效果的调整方法、装置及终端

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6909443B1 (en) * 1999-04-06 2005-06-21 Microsoft Corporation Method and apparatus for providing a three-dimensional task gallery computer interface
JP2001273503A (ja) * 2000-03-23 2001-10-05 Eiji Kawamura モーション認識システム
JP2001326947A (ja) * 2000-05-12 2001-11-22 Sony Corp 立体画像表示装置
AU774086B2 (en) 2000-05-31 2004-06-17 Canon Kabushiki Kaisha A method for active user feedback
US6727924B1 (en) * 2000-10-17 2004-04-27 Novint Technologies, Inc. Human-computer interface including efficient three-dimensional controls
JP2002175139A (ja) * 2000-12-07 2002-06-21 Sony Corp 情報処理装置、メニュー表示方法及びプログラム格納媒体
GB0105801D0 (en) * 2001-03-09 2001-04-25 Koninkl Philips Electronics Nv Apparatus
US7439975B2 (en) * 2001-09-27 2008-10-21 International Business Machines Corporation Method and system for producing dynamically determined drop shadows in a three-dimensional graphical user interface
JP2004145832A (ja) * 2002-08-29 2004-05-20 Sharp Corp コンテンツ作成装置、コンテンツ編集装置、コンテンツ再生装置、コンテンツ作成方法、コンテンツ編集方法、コンテンツ再生方法、コンテンツ作成プログラム、コンテンツ編集プログラム、および携帯通信端末
JP2005010854A (ja) * 2003-06-16 2005-01-13 Sony Computer Entertainment Inc 情報提示方法および装置
JP2005049668A (ja) * 2003-07-30 2005-02-24 Sharp Corp データ変換装置、表示装置、データ変換方法、プログラム及び記録媒体
US7480873B2 (en) * 2003-09-15 2009-01-20 Sun Microsystems, Inc. Method and apparatus for manipulating two-dimensional windows within a three-dimensional display model
US7755608B2 (en) * 2004-01-23 2010-07-13 Hewlett-Packard Development Company, L.P. Systems and methods of interfacing with a machine
JP4325449B2 (ja) * 2004-03-19 2009-09-02 ソニー株式会社 表示制御装置，表示制御方法，記録媒体
US7441201B1 (en) * 2004-10-19 2008-10-21 Sun Microsystems, Inc. Method for placing graphical user interface components in three dimensions
US7562312B2 (en) * 2006-01-17 2009-07-14 Samsung Electronics Co., Ltd. 3-dimensional graphical user interface
US7712039B2 (en) 2006-03-31 2010-05-04 Microsoft Corporation Setting control using edges of a user interface
JP2008040576A (ja) * 2006-08-02 2008-02-21 Sharp Corp 画像処理システム及び該システムを備えた映像表示装置
US7665033B2 (en) * 2006-08-31 2010-02-16 Sun Microsystems, Inc. Using a zooming effect to provide additional display space for managing applications
US9032336B2 (en) * 2006-09-07 2015-05-12 Osaka Electro-Communication University Gesture input system, method and program
US8037414B2 (en) * 2006-09-14 2011-10-11 Avaya Inc. Audible computer user interface method and apparatus
EP2067354A2 (en) * 2006-09-19 2009-06-10 Koninklijke Philips Electronics N.V. Image viewing using multiple individual settings
KR101345303B1 (ko) * 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
WO2008132724A1 (en) * 2007-04-26 2008-11-06 Mantisvision Ltd. A method and apparatus for three dimensional interaction with autosteroscopic displays
US8381122B2 (en) * 2007-06-08 2013-02-19 Apple Inc. Multi-dimensional application environment
US8279241B2 (en) * 2008-09-09 2012-10-02 Microsoft Corporation Zooming graphical user interface
JP5067407B2 (ja) * 2009-09-10 2012-11-07 パナソニック株式会社 表示装置および表示方法

Also Published As

Publication number Publication date
US8694922B2 (en) 2014-04-08
FR2959576A1 (fr) 2011-11-04
JP2011239398A (ja) 2011-11-24
CN102238408A (zh) 2011-11-09
EP2385454A1 (en) 2011-11-09
CN102238408B (zh) 2016-03-02
US20110271235A1 (en) 2011-11-03
JP5933931B2 (ja) 2016-06-15
EP2385454B1 (en) 2018-03-07

Similar Documents

Publication Publication Date Title
KR20110122057A (ko) 설정 메뉴를 디스플레이하기 위한 방법 및 대응하는 디바이스
EP2448276B1 (en) GUI providing method, and display apparatus and 3D image providing system using the same
US8605136B2 (en) 2D to 3D user interface content data conversion
EP2410753B1 (en) Image-processing method for a display device which outputs three-dimensional content, and display device adopting the method
TWI508521B (zh) 一種顯示系統和方法
RU2538335C2 (ru) Объединение данных 3d изображения и графических данных
CN100565589C (zh) 用于深度感知的装置和方法
US20140152782A1 (en) Method and device for the creation of pseudo-holographic images
JPWO2012176431A1 (ja) 多視点画像生成装置、多視点画像生成方法
RU2598989C2 (ru) Устройство отображения трехмерного изображения и способ отображения для такового
KR101228916B1 (ko) 멀티 비젼의 3차원 영상 표시 장치 및 방법
KR102143472B1 (ko) 다시점 영상 처리 장치 및 그 영상 처리 방법
KR20130079044A (ko) 디스플레이 장치 및 그 제어 방법
US9547933B2 (en) Display apparatus and display method thereof
KR20110091377A (ko) 최적시차 3ｄ 영상물 제작방법, 그리고, 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
WITB Written withdrawal of application