KR20040004135A - 3차원 표시 기능을 갖는 휴대 기기 - Google Patents

3차원 표시 기능을 갖는 휴대 기기 Download PDF

Info

Publication number
KR20040004135A
KR20040004135A KR1020030044629A KR20030044629A KR20040004135A KR 20040004135 A KR20040004135 A KR 20040004135A KR 1020030044629 A KR1020030044629 A KR 1020030044629A KR 20030044629 A KR20030044629 A KR 20030044629A KR 20040004135 A KR20040004135 A KR 20040004135A
Authority
KR
South Korea
Prior art keywords
image
face
dimensional
dimensional image
subject
Prior art date
Application number
KR1020030044629A
Other languages
English (en)
Inventor
곤야미네히로
미야따유스께
오꾸다게이
야스모또다까시
Original Assignee
샤프 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샤프 가부시키가이샤 filed Critical 샤프 가부시키가이샤
Publication of KR20040004135A publication Critical patent/KR20040004135A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephone Function (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 2D 화상을 촬상하기 위한 하나의 카메라를 구비하고 촬상한 2D 화상에 시차 정보를 부여하여 3D 화상을 생성하는 휴대 전화를 제공한다. 이 3D 화상은 디스플레이부 상에 표시된다.

Description

3차원 표시 기능을 갖는 휴대 기기{MOBILE EQUIPMENT WITH THREE DIMENSIONAL DISPLAY FUNCTION}
본 발명은 일반적으로 휴대 기기 및 3차원(3D) 변환 프로그램 제조물에 관한 것으로서 특히 3D 디스플레이를 쉽게 제공할 수 있는 휴대 기기 및 3D 변환 프로그램 제조물에 관한 것이다.
최근에, 휴대 기기가 계속 소형화되며 기능도 향상되고 있다. 또한, 휴대 단말기, 휴대용 퍼스널 컴퓨터, 휴대 전화 및 그 밖의 유사한 휴대 기기에 카메라 기능이 내장되어 있다. 예를 들어, 최근에는 카메라 내장 휴대 전화가 유행하고 있다. 이들은 예를 들어, 대기 화면 상에 촬영 화상을 설정하거나 현장에서 촬영 화상을 그 통화 상대에게 전송할 수 있기 때문에 편리하다.
일본 특개평 제10-108152호에는, 휴대 기기의 기능을 향상시키는 하나의 방안으로서, 입체 디스플레이(3D 디스플레이)를 제공하도록 양안 시차를 이용하는 휴대 정보 단말기를 개시하고 있다. 이러한 3D 디스플레이를 위한 양안 시차를 이용함으로써 깊이감이 있는 입체 화상을 표시할 수 있어, 2차원 화상보다 사실적이고 생생한 화상을 제공하게 된다. 이러한 이유로, 그 기술은 비디오폰 분야에 응용된다. 일본 특개평 제10-108152호에 개시된 휴대 정보는 2개의 카메라가 내장되고 사용자의 팔에 두르는 유형의 단말기이다. 이 휴대 정보 단말기는, 2개 카메라에 의해 촬상된 피사체의 움직임의 수평 성분에 따라 시간차를 갖는 2장의 비디오 화상을 생성하고, 그 화상을 관측자의 우안 및 좌안에 제공하여 3D 디스플레이를 구현한다. "3D 디스플레이"는 시차를 이용하는 입체 디스플레이를 의미한다는 점에 주목하길 바란다.
그러나, 일본 특개평 제10-108152호에 개시된 종래의 휴대 정도 단말기는, 2개의 카메라로 인해 가격이 비싸고 단말기의 전력 소모가 크기 때문에 경제적이지 못하다.
바람직하게는, 사람의 양안 시차에 의해 공간적으로 표시되는 화상을 촬상하는 2개의 카메라는 그 시차에 대응하는 거리만큼 이격하여 배치한 상태에서 피사체를 촬상한다. 그러나, 2개의 카메라 사이의 거리를 유지하면서 다른 구성 요소를 배치하려고 하면, 다른 구성 요소의 배치는 2개 카메라의 배치에 의한 제약을 받게 되어 휴대 정보 단말기의 소형화 및 설계 자유도가 저하된다.
또한, 이동하고 있는 피사체를 카메라로 촬상하여 3D 화상으로 표시하는 것이므로 실제로는 충분한 화상을 제공한다고는 할 수 없다. 또한, 일반적으로 2D 화상을 촬상하고 필요에 따라 3D 화상을 촬상하기 위해 카메라를 이용하여 3D 화상을 표시하는 사용자에 있어서는, 일반적으로 2개 카메라중 하나 만이 사용되게 된다.
즉, 3D 디스플레이를 위해 2개 카메라를 설치하는 것은, 상기한 고 가격화, 고 소비전력화의 문제나, 소형화, 설계 자유도의 저하라는 문제점을 갖고 있어, 휴대 기기 단말기의 3D 기능의 실용화에 장애가 되었다. 특히, 휴대 전화에 있어서는, 소형, 경량, 저가 등의 요구가 있어, 2개의 카메라를 갖는 휴대 전화를 제공하는 것은 어렵다.
도 1은 일실시예에서 휴대 전화의 주 구성을 도시하는 블록도.
도 2a는 폴더형 휴대 전화(201)가 열린 상태에서의 내측(또는 키 매설면)에서 본 외관을 도시한 도면이고, 도 2b는 휴대 전화(201)가 닫힌 상태에서의 외측(뒷면)에서 본 외관을 도시한 도면.
도 3은 메인 화면(203)용으로 사용되는 3D 디스플레이를 제공할 수 있는 액정 모듈의 주요부 구성의 평면도.
도 4는 사람 얼굴의 화상을 촬상하여 3차원으로 표시하기 위해 휴대 전화에서 수행되는 프로세스를 나타내는 흐름도.
도 5a 및 5b 각각은 제1 실시예에 따라 메인 화면(203) 상에 표시되는 스크린의 특정 예를 2차원 및 3차원으로 도시하는 도면.
도 6은 제1 실시예에서 시차 정보를 얻는 방식을 도시하는 개념도.
도 7a 및 7b 각각은 제4 실시예에 따라 메인 화면(203) 상에 표시되는 스크린의 특정 예를 2차원 및 3차원으로 도시하는 도면.
도 8은 제3 실시예에서 휴대 전화의 주요부 구성을 도시하는 블록도.
* 도면의 주요 부분에 대한 부호 설명 *
101 통신 제어부 103 신호 처리부
104 스피커 105 프로세서
106 메모리 107 키 조작부
108 카메라 모듈 109, 110 컬러 액정 모듈
203 메인 화면 204 조작키
206 카메라 207 서브 화면
209 십자키 501 피사체
701 선택 테두리
따라서, 본 발명의 목적은 소형, 저소비 전력화와 함께 설계 자유도가 높은 휴대 기기를 제공하는 것이다.
본 발명의 상기 목적은, 피사체의 화상을 촬상하는 촬상 장치, 화상에 시차 정보를 부여하여 3차원 화상을 생성하는 3차원 화상 생성부, 및 3차원 화상을 표시하는 디스플레이를 포함하는 휴대 기기에 의해 달성된다.
본 발명의 다른 양태에 따른 휴대 기기에서는, 피사체의 화상을 촬상하는 단일 촬상 장치, 화상에 시차 정보를 부여하여 3차원 화상을 생성하는 3차원 화상 생성부, 및 3차원 화상을 표시하는 디스플레이부를 포함한다.
본 발명의 또다른 양태에 따른 3차원 변환 프로그램 제조물은, 컴퓨터에 대하여 3차원 변환 프로세스를 실행시키는 것으로, 2차원 화상을 입력하는 단계, 2차원 화상으로부터 사람의 얼굴 화상을 절단하여 얼굴 화상을 얻는 단계, 얼굴 화상에 시차 정보를 부여하여 3차원 화상을 생성하는 단계, 및 3차원 화상을 출력하는 단계를 실행시킨다.
본 발명의 목적 및 다른 목적, 특징, 양태 및 이점은 첨부 도면을 참조하여 이하의 상세한 설명에 의해 자명해질 것이다.
<제1 실시예>
본 발명에 따른 제1 실시예를 도면을 참조하여 설명한다. 본 발명은 휴대 기기라면 어떠한 것에도 적용가능한 것으로, 실시예에서는 폴더형 카메라 내장 휴대 전화에 대하여 설명한다.
도 1은 본 실시예의 휴대 전화의 주요 구성을 도시하는 블록도이다. 제1 실시예에서, 휴대 기기는, 기지국(도시하지 않음)과 통신하는 통신 제어부(101), 마이크로폰(102)으로부터 오디오 신호를 수신하고 그 신호를 인코딩함과 함께 통화 상대로부터 수신한 오디오 신호를 디코딩하는 오디오 신호 처리부(103), 디코딩된 오디오 신호를 재생하는 스피커(104), 프로그램을 실행하여 휴대 전화를 전체적으로 제어하는 프로세서(105), 사용자로부터 입력을 접수하는 키 조작부(107), 전형적인 2D 화상을 촬상하는데 사용되는 CCD(전하 결합 소자) 카메라와 같은 카메라 모듈(108), 메인 화면용의 컬러 액정 모듈(100), 및 서브 화면용의 컬러 액정 모듈(110)을 포함한다.
도 2a는 폴더형 휴대 전화(201)가 열린 상태에서의 내측(또는 키 매설면)에서 본 외관을 도시한 도면이고, 도 2b는 휴대 전화(201)가 닫힌 상태에서의 외측(뒷면)에서 본 외관을 도시한 도면이다.
도 2a에 도시한 바와 같이, 휴대 전화(201)는 덮개 내측의 위쪽 중앙에 배치된 스피커(104), 및 본체 내측의 아래쪽 중앙에 배치되어 휴대 전화(201)가 열려 있을 때 통화를 용이하게 하는 마이크로폰(102)을 구비한다. 또한, 숫자 키, 십자 키(209) 등을 포함하는 조작 키(204)는 본체의 내측에 배치되며, 메인 화면(203)은 직사각형으로서 덮개의 내측에 배치되어 휴대 전화(201)가 열려 있을 때 양호한 조작성을 제공한다. 또한, 카메라(206)는 덮개 외측의 힌지 근방의 중앙 부근에 배치되며, 서브 화면(207)은 직사각형으로서 덮개 외측의 중앙 부근에 배치되어 있어, 휴대 전화(201)가 닫혀 있을 때라도 사용자는 서브 화면(207)에서 피사체를 확인하면서 카메라(206)로 촬상할 수 있다. 또한, 배면 키(208)는 서브 화면(207) 아래에 배치되어 휴대 전화(201)은 상태에서 셔터 키로서 사용될 수 있다. 도 2b는 하나의 키(208)만을 도시하고 있지만, 서브 화면(207) 상에 표시되는 정보를 전환하는 복수의 키(208)(예를 들어, 스크롤 키, 누적된 화상의 선택 키 등)를 구분하여 사용할 수 있다. 사용자가 휴대 전화(201)가 열린 상태에서 피사체 화상을 촬상하는 경우, 사용자는 메인 화면(203) 또는 서브 화면(207) 상의 피사체를 확인하면서, 조작 키(204)중 임의의 것을 셔터 키로서 사용하여 화상을 촬상한다.
메인 화면(203)은 입체 디스플레이(이하, 3D 디스플레이)가 가능한 액정 모듈로 구성된다. 그 대안으로서, 메인 화면(20) 및 서브 화면(207) 모두 또는 둘 중 하나를 3D 디스플레이가 가능한 액정 모듈로 하여도 된다. 서브 화면(207)이 대기 화면으로서 선호하는 3D 화상을 표시해 두면, 사용자는 휴대 전화(201)를 열지 않아도 항상 3D 화상을 볼 수 있어, 휴대 전화의 부가 가치가 높아진다.
도 3은 메인 화면(203)용으로 사용되는 3D 디스플레이가 가능한 액정 모듈의 주요부 구성의 평면 단면이다. 도 3을 참조하면, 액정 모듈은 백라이트(301), 편향각을 전환할 수 있는 스위칭 액정 소자(302), 슬릿 형상으로 패턴화된 위상차판(303), 및 박막 트랜지스터(TFT) 액정(304)을 포함한다.
메인 화면(203) 상에 3D 화상을 표시시키는 경우, 액정 소자(302)의 편향각을 전환하여 액정 소자(302)의 위상과 위상차판(303)의 위상의 관계를 변화시킴으로써, 좌안용 화상이 우안에 투영되지 않도록 차단한다(점선 309). 마찬가지로, 우안용 화상이 (도면에서 흑색 화소로 표시되는) R 화로(305)를 통과하여 좌안에 투영되지 않도록 차단한다(점선 310).
이와 같이, 관측자의 우안에는 우안용 화상만이 투영되고 좌안에는 좌안용 화상만이 투영되기 때문에, 관측자의 양안에 상이한 화상이 주어져 관측자는 깊이감이 있는 3차원의 입체 화상(3D 화상)을 지각할 수 있다.
또한, 메인 화면(203)이 2D 화상(일반적인 2차원 평면 화상)을 표시하는 경우, 액정(302) 및 위상차판(303)에 의한 광의 차단을 행하지 않는다. 상기한 바와 같이 액정(302) 및 위상차판(303)을 전기적으로 제어함으로써 메인 화면(203)은 2D 화상 및 3D 화상을 전환하여 표시할 수 있다. 2D 및 3D 화상은 예를 들어 전원 키와 같은 임의의 조작 키(204)를 눌러 간단히 전환될 수 있다.
본 발명에서는, 상기한 바와 같은 액정 모듈이 사용되어 메인 화면(203) 상에 3D 디스플레이를 제공하였지만, 렌치큘러 렌즈를 이용하는 구성이나, TFT액정(304) 대신에 연속적인 그레인 실리콘 액정을 이용하는 구성 등 그 밖의 구성을 이용하여도 된다는 점에 주목하길 바란다. 또한, 상기한 구성에서는 메인 화면(203)에 3D 디스플레이 가능한 액정 모듈을 채용하고 있지만, 메인 화면(203)에 2D 화상을 표시시켜 전형적인 액정 모듈을 이용하여 그 디스플레이를 편광 안경을 통해 관측하여도 된다. 이 경우, 2D 화상을 표시시키는 액정 모듈 및 편광 안경을 조합한 구성이 3D 디스플레이가 가능한 디스플레이 수단으로 된다.
이하, 상기하 구성의 휴대 전화를 이용하여 카메라(206)로 촬영한 2D 화상으로부터 3D 화상을 생성하여 메인 화면(20) 상에 표시할 때까지의 프로세스에 대하여 설명한다.
일례로서, 사람 얼굴의 화상을 촬상하여 3차원으로 표시하는 것을 도 4에 도시한 흐름도, 도 5a 및 5b에 도시한 표시 화면예, 및 도 6에 도시한 시차 정보를 얻을 때의 개념도를 참조하여 설명한다.
도 4 및 도 5a를 참조하면, 사용자는 메인 화면(203) 상에서 카메라를 통해 보이는 사람 얼굴을 피사체(501)으로서 확인한다. 원하는 화상이 메인 화면(203) 상에 표시되면, 사용자는 셔터 키 역할을 하는 조작 키(204)를 눌러 피사체(501)의 화상을 촬상한다. 카메라 모듈(108)은 그 화상을 2D 화상 형태(스틸 화면)로 캡쳐한다(S401).
이후, 프로세서(105)에 의해, 캡쳐한 2D 화상으로부터 눈, 코, 입, 눈썹, 턱 등의 얼굴을 구성하는 부분 및 얼굴의 윤곽선을 자동 또는 수동으로 추출할 것인지의 모드가 확인된다(S402). 이 얼굴 화상 추출 모드는, 예를 들어 휴대 전화의 메뉴 스크린 등을 이용하여 사용자에 의해 미리 설정되어도 되고, 또는 사용자가 휴대 전화를 조작할 때마다 직접 설정하여도 된다. 얼굴 화상 추출 모드가 수동 추출 모드이라면(S402에서 "수동"), 프로세서(105)는 사용자로부터 조작 키(204)를 통해 상기한 바와 같은 각 얼굴 부분의 위치의 지정을 수신한다(S403). 이후, 프로세서(105)는 단계(S403)에서 지정된 위치 정보를 사용하여 각 얼굴 부분의 2차원 좌표를 구한다(S404). 이 때, 펜, 마우스, 조그 다이얼 등(도시하지 않음)을 사용하여 선택하도록 하면 조작이 더욱 향상된다. 얼굴의 2D 화상으로부터 3D 화상을 생성하는 경우, 코는 가장 입체적으로 돌출된다는 점에 주목하길 바란다. 따라서, 얼굴 화상 추출 모드가 자동 추출 모드 또는 수동 추출 모드인지에 상관없이, 코는 항상 추출되는 얼굴 부분으로서 설정해 둔다. 특히, 사람의 감각을 고려한다면, 코 부분의 돌출을 강조함으로써 얼굴의 깊이감을 제공할 수 있게 된다.
얼굴 화상 추출 모드가 자동 추출 모드라면(S402에서 "자동"), 프로세서(105)는 에지 검출 등을 이용하는 공지된 얼굴 부분 추출 기술을 이용하여 단계 S401에서 얻은 2D 화상으로부터 각 얼굴 부분의 2차원 좌표를 얻는다(S404). 사용자가 입력 조작을 행하기 불편한 휴대 전화 등의 기기에 대해서는, 얼굴 부분이 자동으로 추출되는 것이 편리하다. 또한, 촬상시, 메인 화면 상에 원형, 정사각형 등의 테두리를 표시해 두고, 그 테두리의 근처에 얼굴 화상이 위치하도록 촬영하면, 프로세서(105)가 얼굴 부분을 적은 범위에서 추출할 수 있어, 자동 추출의 처리 속도 및 정밀도가 높아진다.
단계(S404)에서, 각 얼굴 부분의 2차원 좌표를 구하고, 얼굴 화상이 단계S401에서 캡쳐한 2D 화상으로부터 절단되면, 프로세서(105)는 그 추출된 얼굴 부분 각각의 좌표를 3차원 사람 얼굴 모델 상에 투영하여 얼굴 화상 전체에 대한 3차원 데이터를 구한다(S405). 단계 S405에서, 이하 설명되는 출원인에 의해 이미 출원된 일본 특허 공개 번호 제2001-109907호에 3차원 모델 생성 방법이 개시되어 있다.
프로세서(105)는, 단계 S401에서 구한 각 얼굴 부분의 2차원 좌표로부터 얼굴의 크기, 위치, 및 방향을 추정하고(검출하고), 추정한 크기, 위치 및 방향에 대하여 3차원 사람 얼굴 모델에 대응하는 표준 사람 얼굴 기하학에 기초한 표준 얼굴 기하학 모델을 단계 S401에서 구한 2D 화상에 투영한다. 이후, 프로세서(105)는 2D 화상에 투영된 표준 얼굴 기하학 모델에 포함된 각 얼굴 부분의 좌표와, 단계 S404에서 구한 각 얼굴 부분의 2차원 좌표 사이의 위치 오프셋을 계산한다. 이후, 프로세서(105)는 이전에 추정한 크기, 위치 및 방향으로부터 약간 오프셋된 위치 및 방향으로 모델을 투영하고, 마찬가지로 투영된 모델에 포함된 각 얼굴 부분의 좌표와 단계 S404에서 구한 각 얼굴 부분의 2차원 좌표 사이의 위치 오프셋을 마찬가지로 계산한다. 이렇게 하여, 프로세서(105)는 좌표들 사이의 최소 오프셋을 제공하는 크기, 위치, 및 방향을 구하고, 그것을 상기한 프로세스를 반복할 때 후속하는 임시 추정 크기, 위치, 방향으로서 사용한다. 프로세서(105)는, 이러한 프로세스를 반복하고 마지막으로 오프셋이 더 이상 감소되지 않는 경우, 현재의 크기, 위치, 및 방향을 2D 화상에 포함된 얼굴 화상의 최종 크기, 위치, 및 방향으로서 추정한다.
이후, 프로세서(105)는 단계 S401에서 구한 2D 화상에, 상기한 추정 크기, 위치, 및 방향으로 표준 얼굴 기하학 데이터를 투영하여 텍스쳐 화상을 생성한다. 보다 상세하게, 프로세서(105)는 초기에 표준 얼굴 기하학 데이터의 모든 정점 좌표를 각각 계산한다. 동시에, 프로세서(105)는 표준 얼굴 기하학 데이터의 평행 투영을 정면에서 소정의 크기 및 위치로 텍스쳐 화상에 제공하여 표준 얼굴 기하학 데이터의 모든 정점 좌표를 각각 계산한다. 보다 상세하게, 2D 화상 상에 투영된 정점 좌표는 텍스쳐 화상 상에 투영된 동일한 정점 좌표에 대응하는 것으로 가정하고, 이러한 대응 관계에 기초하여 화상 변환 기술을 이용하여 각 얼굴 화상을 2D 화상으로부터 텍스쳐 화상 상으로 전사한다. 여기서 사용되는 화상 변환 기술은 화상 처리 분야에서 공지된 기술이며 당업자에 의해 쉽게 구현될 수 있다. 따라서, 본 명세서에서는 화상 변환 기술을 상세하게 설명하지 않는다.
그 전사는 소정의 크기 및 위치를 갖도록 정면에서 촬상된 2D 화상에 포함된 피사체의 화상에 근사한 화상을 제공한다. 프로세서(105)는, 단계 S405에서 그러한 근사한 화상에 대응하는 3차원 모델을, 평행 투영에 의해 정면에서 표준 기하학 데이터 상에 붙여진 텍스쳐 화상으로서 생성한다.
단계 S405에서 3차원 사람 얼굴 모델에 대하여 상기한 바와 같이, 표준 사람 얼굴 기하학에 기초한 표준 얼굴 기하학 모델을 이용하여도 된다. 대안으로, 둥근 얼굴, 마른 얼굴 등과 같이 복수의 얼굴 기하학 모델을 미리 준비해 두고 사용자가 모델을 선택하도록 하여도 된다. 또한, 특정 인물에 대하여 전용 얼굴 기하학을 미리 메모리(106)에 기억시켜 두고 단계 401에서 그 사람을 촬상하여 단계 S405에서 그 사람 전용의 얼굴 기하학 모델을 사용하여 보다 정밀한 3D 화상을 생성할 수 있다. 예를 들어, 휴대 전화 소유자의 얼굴 기하학 모델이 메모리(106)에 저장되어 있으면, 소유자의 보다 정밀한 3D 얼굴 화상 데이터를 쉽게 생성할 수 있다. 도 2a 및 2b에 도시한 휴대 전화를 이용하면, 휴대 전화가 닫힌 상태에서 자신의 얼굴을 서브 화면(207)상에서 확인하면서 자신의 얼굴을 찍을 수 있기 때문에, 자신의 얼굴 화상을 쉽게 촬상할 수 있다. 친구들끼리 예를 들어 전자 메일을 통해 자신들이 작성한 3D 얼굴 화상을 서로 교환한다면, 여러 사람이 고 정밀도의 3D 얼굴 화상을 즐길 수 있다. 사람 얼굴 전용의 기하학 모델을 산출하는 데에는 계산량이 크기 때문에, 서버에서 계산한 결과를 휴대 전화에 다운로드하는 구성으로 하여도 된다.
단계 S405에서 얼굴 화상의 3차원 데이터를 얻게 되면, 프로세서(105)는 3차원 데이터에 시차 정보를 부여한다(S406). 단계 S406에서, 프로세서(105)는, 사람의 양안의 간격(예를 들어, 약 6cm)과, 휴대 전화로 사람 얼굴을 촬영할 경우의 표준 거리(예를 들어, 약 1m)에 기초하여 근사 계산을 수행하고, 카메라의 위치에서 나타나는 피사체의 얼굴과 한 쪽 눈 사이에서 연장되는 라인과, 카메라의 위치에서 나타나는 피사체의 얼굴과 나머지 한쪽 눈 사이에서 연장되는 라인에 의해 형성되는 각(α)을 구하며, 이 각(α)에 대응하는 시차 정보를 3차원 데이터에 부여한다. 보다 상세하게는, 도 6에 도시한 바와 같이, 프로세서(106)는 임시로 상정되는 우안의 위치로부터 얼굴 화상의 3차원 데이터에 투영하여 변환된 데이터를 우안용 화상 데이터로 하고, 마찬가지로 임시로 상정되는 좌안의 위치로부터 얼굴 화상의 3차원 데이터에 투영하여 변환된 데이터를 좌안용 화상 데이터로 한다. 이렇게 하여, 프로세서(105)는 우안용 화상 및 좌안용 화상을 포함하는 3D 화상을 생성한다(S407).
이후, 프로세서(105)는 메인 화면(203) 상에 3D 화상을 표시한다. 관측자는 도 5b에 도시한 바와 같이 사람의 얼굴이 메인 화면(203)으로부터 떠오른 것처럼 지각하게 인식하게 된다(S408).
도 5b에서는 도면 작성의 사정상, 코 높이, 눈의 심도 등의 입체감이 표현되어 있지 않지만, 관측자는 이러한 심도를 인식할 수 있어 보다 현실적인 얼굴 화상을 즐길 수 있다는 점에 주목하길 바란다. 또한, 도 5b에서, 사람의 목, 어깨 및 그 주위는 도 5a에 도시한 바와 마찬가지로 표시되어 있다. 따라서, 본 발명의 휴대 전화를 이용하여 얼굴 이외의 다른 부분을 절단하거나 옷을 차려입은 인형과 같이 템플릿으로서 미리 준비된 옷 등을 입혀 표시하도록 하여도 된다.
상기한 예에서, 프로세서(105)는 카메라(206)로부터 피사체(501)까지의 거리를 소정의 거리(예를 들어 1m)로서 갖는 시차 정보를 계산하고 있지만, 사용자는 사진을 찍을 때마다 조작키(204)를 통해 그 거리를 입력할 수도 있다. 사용자가 자신의 얼굴을 찍을 때, 사용자는 흔히 휴대 전화를 들고 있는 자신의 팔을 내밀어 촬영하게 된다. 이처럼, 자신을 촬상하는 사용자는 다른 사람의 얼굴보다 휴대 전화에 더 가깝다(예를 들어, 50cm). 이 때문에, 사용자가 자신을 촬상할 때, 프로세서(105)를 이용하여 시차 정보를 계산할 때 소정의 거리를 자동적으로 전환할 수도 있다. 프로세서(105)는 예를 들어 덮개의 개폐를 검출함으로써 사용자 자신의얼굴 사진 또는 사용자가 아닌 타인의 얼굴 사진이 촬상되는지 여부를 자동 판별할 수 있다는 점에 주목하길 바란다.
또한, 상기한 예에서는 촬상된 2D 화상으로부터 사람의 얼굴을 잘라내어 3차원으로 표시시키고 있지만, 사람 얼굴 이외의 배경 화상(예를 들어, 도 5a에 도시한 비행기)을 그 얼굴과 함께 표시하여도 된다. 사람 얼굴이 배경 화상과 함께 표시되면, 심도감이 더욱 증가하여 보다 생생한 화상을 제공하게 된다.
또한, 상기한 예에서는, 3차원 사람 얼굴 모델에 관련하여 설명하였지만, 예를 들어 포메라니안 등의 개의 3차원 얼굴 모델을 준비하여 두고, 사용자가 자신의 애완 동물의 3D 화상을 생성할 수도 있고, 3차원 사람 신체 모델을 준비해 두고 사람의 전신의 3D 화상을 생성할 수도 있다.
상기한 예에서, 피사체의 화상이 촬상된 후, 메인 화면(203)은 도 5a에 도시한 바와 같은 2D 화상을 표시한다. 그 대안으로, 조작키(204)에 사전에 3D 셔터 버튼을 할당해 두고 상기한 3D 변환 프로세스를 전 자동으로 행하게 하면, 3D 셔터 버튼이 눌러진 후 도 5b에 도시한 바와 같은 3D 화상을 즉시 표시할 수 있다.
<제2 실시예>
I-O DEVICE, INC 사의 "PLAY3DPC" 제품 키트를 이용하면, 디지털 카메라를 통해 촬상된 화상을 퍼스널 컴퓨터(PC) 내에 캡쳐하고, 그 캡쳐한 화상의 각 블록에서의 밝기를 전용 소프트웨어로 분석할 수 있다. 보다 밝은 블록은 앞쪽에 배치된 것으로 가정하여 3D 화상을 작성할 수 있다. 이후, 사용자는 PC에 연결된 디스플레이 상에 그 생성된 3D 화상을 표시시키고 액정 안경을 통해 3D 화상을 관측한다.
화상의 휘도를 이용하여 3D 화상을 생성하는 기술에 의해, 제2 실시예에서의 휴대 전화의 프로세서(105)는 카메라(206)로 촬상한 2D 화상을 복수의 블록으로 분할하고 각 블록의 휘도를 검출하며 더 밝은 블록이 더 앞쪽에 위치하도록 시차 정보를 각 블록마다 부여하여 3D 화상을 생성하고 주 스크린(203) 상에 표시할 수 있다. 예를 들어, 앞쪽에 자동차가 있고 안쪽에 건물이 잇는 듯한 원근감있는 배경 화상을 표시할 수 있다.
이 경우, 프로세서(105)는 2D 화상의 각 블록의 휘도 강도에 따라 각 블록마다 상이한 시차 정보를 부여하여 3D 화상을 생성하고 있다. 이 때문에, 제1 실시예에서 설명한 시차 정보를 계산하기 위한 근사 계산이 필요하지 않다.
<제3 실시예>
일본 특허 공개번호 제2002-77944호에서는, 광을 피사체에 조사하고 그 반사광의 강도에 기초하여 휴대 전화로부터 피사체의 각 부분까지의 거리를 검출하고, 그 거리 정보에 기초하여 피사체의 각 부분에 대하여 상이한 시차를 제공하여 3D 화상을 생성하는 기술을 개시하고 있다. 그 생성된 3D 화상은 외장된 입체 영상 표시 장치 상에 표시될 수 있다. 보다 상세하게는, 제3 실시예의 휴대 전화에서, 일본 특허 공개번호 제2002-77944호에 개시된 기술을 이용하여 프로세서(105)는 카메라(206)로 촬상한 2D 화상의 피사체까지의 거리에 따라 피사체의 각 부분마다 상이한 시차 정보를 부여하여 3D 화상을 생성하여 메인 화면(203) 상에 표시할 수 있다. 제3 실시예에서의 휴대 전화는, 도 8에 도시한 바와 같이, 도 1에 도시한 구성 요소 이외에 피사체에 광을 조사하는 조사부(801)와 광의 반사 강도를 검출하는 검출부(802)를 포함한다.
<제4 실시예>
제4 실시예에서의 휴대 전화는, 카메라(206)로 촬상되고 메인 화면(203) 상에 표시되어 있는 2D 화상으로부터 앞쪽에 위치하는 피사체를 사용자가 조작키(204)를 이용하여 선택하고, 그 선택된 피사체에 대하여 배경 화상과는 다른 시차 정보를 부여하여 3D 화상을 생성하는 프로세서(105)를 포함할 수 있다.
예를 들어, 도 7a에 도시한 바와 같이, 사용자는 메인 화면(203) 상에 표시되어 있는 선택 테두리(701)를 사용하여 2D 화상의 사람 얼굴과 비행기를 촬영한 화상 중에서 조작키(204)(예를 들어, 십자 키(209))를 이용하여 앞쪽에 위치한 얼굴을 지정한다. 선택 테두리(701)을 원이나 정사각형 형태로 표시할 수도 있다. 또한, 프레임의 크기가 변경가능하도록 함으로써 피사체를 정확하게 용이하게 지정할 수 있다. 또한, 선택 테두리(701)로 피사체를 둘러싸는 것이 아니고, 입력용 펜(도시하지 않음)을 이용하여 잘라낸 피사체를 추적하도록 하여 지정하면 피사체를 보다 정확하게 잘라낼 수 있다.
이후, 그러한 프로세서(105)는 에지 검출 등의 유사한 화상 처리 기술을 이용하여 선택된 피사체를 잘라내고, 그 잘라낸 피사체의 화상에 대하여 피사체가 남은 배경 화상보다 앞쪽에 위치하도록 시차를 부여하여 3D 화상을 생성한다. 도 7a에서 머리카락의 일부나 어깨 주위가 선택 테두리(701)로부터 벗어난 것으로 도시되어 있지만, 프로세서(105)는 바람직하게 그 프레임으로부터 약간 벗어난 부분에대해서도 에지의 연속성도 추정하면 잘라내어도 된다.
선택 테두리(701) 근처에서 피사체의 화상이 절단되어 3D 화상이 생성되면, 도 7b에 도시한 바와 같이 사용자는 얼굴이 비행기보다도 튀어나온 것처럼 인식한다. 상기한 프로세스에서, 제1 실시예에서 설명한 3차원 모델은 사용되지 않기 때문에 코 높이 등의 얼굴의 입체감은 표현되지 않는 반면, 제4 실시예에서 프로세서(105)는 3차원 모델에 관련된 프로세스를 수행하지 않기 때문에 3D 화상을 쉽게 생성할 수 있다. 이 경우 피사체는 사람 얼굴에 한정되지 않으며 예를 들어 건물 등이어도 된다.
또한, 상기한 예에서 사진이 촬상된 후, 선택 테두리(701)을 이용하여 피사체를 앞쪽에 보이도록 선택할 수 있다. 대안으로, 사진을 촬상한 후, 선택 테두리(701)을 표시시켜두고 바로 앞의 피사체를 있으며 선택 테두리(701)의 근처에 맞춘 상태로 촬상할 수 있다. 그렇게 하면, 촬영 후의 선택 테두리(701)를 지정하는 조작이 필요없게 되어, 간단하게 셔터 키를 누름으로써 3D 화상을 한번에 표시할 수 있다.
또한, 상기한 예에서 하나의 피사체만이 선택되어 있지만, 정면 피사체로부터 복수의 피사체를 순서대로 선택하여도 된다. 이 경우, 프로세서(105)는 선택된 각 피사체마다 상이한 시차 정보를 부여한다. 따라서 복수의 피사체를 선택하고 그 피사체를 3차원으로 표시함으로써 심도를 더할 수 있으며 이에 따라 현실감을 더하게 된다.
각 실시예에서 설명한 바와 같이, 피사체를 촬상하기 위한 카메라(206)는 전형적인 2D 화상을 촬상하는데 사용되는 카메라일 수 있으며 3D 화상을 위한 특정 기능을 가질 필요가 없다. 따라서, 3D 화상을 촬상하기 위한 카메라를 준비할 필요가 없어 종래의 휴대 전화에서 사용되는 카메라를 사용할 수 있다. 보다 상세하게는, 본 발명에 따라 휴대 기기에 제공된 카메라에 의해 촬상된 2D 화상은 그 휴대 기기에 의해 3차원으로 표시될 수 있다. 하나의 카메라만으로도 충분하기 때문에, 휴대 전화는 소형화될 수 있으며 전력 소모도 감소된다. 또한, 구성 요소를 배치하기 위한 설계시 2D 및 3D 화상을 촬상하기 위해 2개의 카메라를 사용하는 경우보다 자유도가 현저히 증가할 수 있다.
또한, 상기한 각 실시예에서, 2D 화상으로부터 3D 화상을 생성하기까지의 프로세스의 전부 또는 일부는 판독 소프트웨어에 의해 수행된다. 프로세서(105)는, 메모리(106)에 미리 저장되고 휴대 전화에 내장되며 또는 서버로부터 다운로드되어 얻게 되는 3D 변환 프로그램을 판독할 수 있다. 또한, 이 3D 변환 프로그램은 퍼스널 컴퓨터 또는 휴대 전화 이외의 다른 유사한 기기에서 사용될 수 있다.
또한, 이 휴대 기기에서 각 실시예에서 설명한 프로세스의 전부 또는 일부를 서로 조합하여 처리하여도 된다. 예를 들어, 휴대 기기에서, 3차원 모델로부터 3D 화상을 생성하는 제1 실시예의 프로세스 및 화상용 휘도 강도에 기초하여 시차 정보를 얻는 제2 실시예에서의 프로세스를 조합할 수 있다. 그렇게 하면, 원근감있는 배경 화상과 함께 보다 현실감있는 3D 얼굴 화상을 표시할 수 있다.
상기 휴대 전화는 폴더형으로서 설명하였지만, 스트레이트 타입이어도 된다는 점에 주목하길 바란다.
또한, 상기한 설명에서 스틸 사진을 촬상하는 데 있어서 휴대 전화를 예로 들었지만, 동화상을 촬상하는데 사용하여도 된다. 이것은 동화상을 구성하는 복수의 화상에 대하여 스틸 사진용으로 수행되는 것과 마찬가지의 프로세스를 순차적으로 수행함으로써 가능하다.
<제5 실시예>
예를 들어 디지털 카메라로 촬상한 사용자의 얼굴인 2D 스틸 화상을 3D 화상으로 변환하는 경우, 제1 실시예에서 설명한 I-O DATA DEVICE, INC. 사의 "PLACE3 DPC" 제품과 같은 상업적으로 입수가능한 소프트웨어로 인해 그 소프트웨어를 설치한 PC는 2D 스틸 화상을 촬상하여 처리할 수 있다. 그러나, 제5 실시예의 휴대 전화의 본체에 내장되어 있는 3D 변환 전용 프로그램을 이용함으로써 그 2D 화상을 3D로 즉시 변환하는 것도 가능하다. 제5 실시예에서, 양안용 화상이 실제 촬상된 화상이 아니며, 상기한 바와 같이 2D 화상을 3D 화상으로 변환하도록 휴대 전화에 내장된 상업적으로 입수가능한 소프트웨어에 의해 그 3D 화상이 3차원으로 표시된다는 점에도 불구하고, 휴대 전화에 의해 2D 화상은 3D로 변환될 수 있다.
<제6 실시예>
상기한 실시예에서는 휴대 전화의 카메라에 의해 얻은 2D 화상을 3D 화상으로 변환하는 경우이지만, 통신 수단에 의해 전송되어 온 2D 화상(사진, 애니메이션 등)을 촬영 화상과 마찬가지로 3D 화상으로 하여 3차원으로 표시할 수 있다. 이것은 하나의 조작키를 3D 화상 생성 지정키로 설정함으로써 간단히 행해질 수 있다.
본 발명을 설명 및 도시하여 상세히 설명하였지만, 본 발명은 단지 예를 들어 설명된 것이고 이러한 설명에 한정되지 않으며, 본 발명의 범위 및 사상은 청구범위에 의해서만 제한된다는 것은 자명하다.
따라서, 본 발명의 휴대 기기는 휴대 기기에 설치된 카메라에 의해 촬상된 2D 화상을 3차원으로 표시할 수 있다.
또한, 본 발명에 따라 카메라 내장된 휴대 전화를 사용하여 피사체를 촬영하고, 그 촬영한 화상을 현장에서 즉시 3차원으로 표시할 수 있다. 휴대 전화는 사용자가 항상 소지하는 기기이므로 사진을 촬상할 기회를 놓칠 필요 없이 그 사진을 촬상하여 3차원으로 표시할 수 있다. 3D 표시가 2D 표시보다 더 현실감있기 때문에 화상을 더 즐길 수 있다.

Claims (13)

  1. 휴대 기기에 있어서,
    피사체의 화상을 촬상하는 촬상 장치;
    상기 화상에 시차 정보를 부여하여 3차원 화상을 생성하는 3차원 화상 생성부; 및
    상기 3차원 화상을 표시하는 디스플레이부
    를 포함하는 것을 특징으로 하는 휴대 기기.
  2. 제1항에 있어서,
    상기 촬상 장치는 2차원 화상을 촬상하는 촬상 장치인 것을 특징으로 하는 휴대 기기.
  3. 제2항에 있어서,
    다른 장치와의 통신을 제어하는 통신 제어부; 및
    다른 장치와의 호출이 가능한 송수신부
    를 더 포함하는 것을 특징으로 하는 휴대 기기.
  4. 휴대 기기에 있어서,
    피사체의 화상을 촬상하는 단일 촬상 장치;
    상기 화상에 시차 정보를 부여하여 3차원 화상을 생성하는 3차원 화상 생성부; 및
    상기 3차원 화상을 표시하는 디스플레이부
    를 포함하는 것을 특징으로 하는 휴대 기기.
  5. 제4항에 있어서,
    상기 촬상 장치는 2차원 화상을 촬상하는 촬상 장치인 것을 특징으로 하는 휴대 기기.
  6. 제5항에 있어서,
    다른 장치와의 통신을 제어하는 통신 제어부; 및
    다른 장치와의 호출이 가능한 송수신부
    를 더 포함하는 것을 특징으로 하는 휴대 기기.
  7. 제4항에 있어서,
    상기 3차원 화상 생성부는 촬상된 상기 화상으로부터 사람 얼굴 부분을 절단하여 얼굴 화상을 얻고 그 얼굴 화상에 상기 시차 정보를 부여하는 것을 특징으로 하는 휴대 기기.
  8. 제7항에 있어서,
    상기 촬상 장치는 2차원 화상을 촬상하는 촬상 장치인 것을 특징으로 하는 휴대 기기.
  9. 제8항에 있어서,
    다른 장치와의 통신을 제어하는 통신 제어부; 및
    다른 장치와의 호출이 가능한 송수신부
    를 더 포함하는 것을 특징으로 하는 휴대 기기.
  10. 제4항에 있어서,
    상기 3차원 화상 생성부는, 상기 촬상된 화상으로부터 특정 피사체를 선택하여 그 특정 피사체의 화상 및 그 이외의 상기 촬상된 화상에 포함되어 있는 화상에 시차 정보를 각각 부여하는 것을 특징으로 하는 휴대 기기.
  11. 제10항에 있어서,
    상기 촬상 장치는 2차원 화상을 촬상하는 촬상 장치인 것을 특징으로 하는 휴대 기기.
  12. 제11항에 있어서,
    다른 장치와의 통신을 제어하는 통신 제어부; 및
    다른 장치와의 호출이 가능한 송수신부
    를 더 포함하는 것을 특징으로 하는 휴대 기기.
  13. 컴퓨터에 대하여 3차원 변환 프로세스를 실행시키는 3차원 변환 프로그램 제조물로서, 상기 프로세스는,
    2차원 화상을 입력하는 단계;
    상기 2차원 화상으로부터 사람 얼굴 부분의 화상을 절단하여 얼굴 화상을 얻는 단계;
    상기 얼굴 화상에 시차 정보를 부여하여 3차원 화상을 생성하는 단계; 및
    상기 3차원 화상을 출력하는 단계
    를 포함하는 것을 특징으로 하는 프로그램 제조물.
KR1020030044629A 2002-07-03 2003-07-02 3차원 표시 기능을 갖는 휴대 기기 KR20040004135A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002194285A JP2004040445A (ja) 2002-07-03 2002-07-03 ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
JPJP-P-2002-00194285 2002-07-03

Publications (1)

Publication Number Publication Date
KR20040004135A true KR20040004135A (ko) 2004-01-13

Family

ID=29720268

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030044629A KR20040004135A (ko) 2002-07-03 2003-07-02 3차원 표시 기능을 갖는 휴대 기기

Country Status (5)

Country Link
US (1) US7889192B2 (ko)
EP (1) EP1379063A1 (ko)
JP (1) JP2004040445A (ko)
KR (1) KR20040004135A (ko)
CN (1) CN100469152C (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012111998A2 (ko) 2011-02-18 2012-08-23 Kim Seok-Joong 포인터를 사용하지 않는 가상 터치 장치
WO2013009040A2 (ko) 2011-07-11 2013-01-17 Kim Seok-Joong 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
US9569103B2 (en) 2012-05-29 2017-02-14 VTouch Co., Ltd. Remote control apparatus and method for performing virtual touch by using information displayed by a projector

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907793B1 (en) 2001-05-04 2011-03-15 Legend Films Inc. Image sequence depth enhancement system and method
US8396328B2 (en) 2001-05-04 2013-03-12 Legend3D, Inc. Minimal artifact image sequence depth enhancement system and method
US7116324B2 (en) * 1998-05-27 2006-10-03 In-Three, Inc. Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures
US20050231505A1 (en) * 1998-05-27 2005-10-20 Kaye Michael C Method for creating artifact free three-dimensional images converted from two-dimensional images
US7260369B2 (en) * 2005-08-03 2007-08-21 Kamilo Feher Location finder, tracker, communication and remote control system
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US8897596B1 (en) 2001-05-04 2014-11-25 Legend3D, Inc. System and method for rapid image sequence depth enhancement with translucent elements
US7127271B1 (en) 2001-10-18 2006-10-24 Iwao Fujisaki Communication device
US7466992B1 (en) 2001-10-18 2008-12-16 Iwao Fujisaki Communication device
US7107081B1 (en) 2001-10-18 2006-09-12 Iwao Fujisaki Communication device
US8229512B1 (en) 2003-02-08 2012-07-24 Iwao Fujisaki Communication device
US9063633B2 (en) * 2006-03-30 2015-06-23 Arjuna Indraeswaran Rajasingham Virtual navigation system for virtual and real spaces
US8241128B1 (en) 2003-04-03 2012-08-14 Iwao Fujisaki Communication device
US8090402B1 (en) 2003-09-26 2012-01-03 Iwao Fujisaki Communication device
US7917167B1 (en) 2003-11-22 2011-03-29 Iwao Fujisaki Communication device
US7751805B2 (en) * 2004-02-20 2010-07-06 Google Inc. Mobile image-based information retrieval system
US7565139B2 (en) * 2004-02-20 2009-07-21 Google Inc. Image-based search engine for mobile phones with camera
US8421872B2 (en) * 2004-02-20 2013-04-16 Google Inc. Image base inquiry system for search engines for mobile telephones with integrated camera
US20070159522A1 (en) * 2004-02-20 2007-07-12 Harmut Neven Image-based contextual advertisement method and branded barcodes
FI115947B (fi) 2004-02-25 2005-08-15 Nokia Corp Elektroninen laite ja menetelmä elektronisessa laitteessa kuvainformaation muodostamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi
US8041348B1 (en) 2004-03-23 2011-10-18 Iwao Fujisaki Communication device
US8300043B2 (en) * 2004-06-24 2012-10-30 Sony Ericsson Mobile Communications AG Proximity assisted 3D rendering
US20060015919A1 (en) * 2004-07-13 2006-01-19 Nokia Corporation System and method for transferring video information
KR100684715B1 (ko) 2004-10-19 2007-02-20 삼성에스디아이 주식회사 입체 영상 표시 장치 및 이를 갖는 전자 기기
ATE385653T1 (de) 2004-12-02 2008-02-15 Sony Ericsson Mobile Comm Ab Tragbares kommunikationsgerät mit einer dreidimensionalen anzeigevorrichtung
WO2006078237A1 (en) * 2005-01-15 2006-07-27 In-Three, Inc. Method for converting two-dimensional images to three-dimensional images using depth perspective
KR101112735B1 (ko) * 2005-04-08 2012-03-13 삼성전자주식회사 하이브리드 위치 추적 시스템을 이용한 입체 디스플레이장치
US8208954B1 (en) 2005-04-08 2012-06-26 Iwao Fujisaki Communication device
KR100932977B1 (ko) * 2005-07-05 2009-12-21 삼성모바일디스플레이주식회사 입체 영상 표시 장치
KR100913173B1 (ko) * 2005-07-05 2009-08-19 삼성모바일디스플레이주식회사 3ｄ 그래픽 처리장치 및 이를 이용한 입체영상 표시장치
US8279221B2 (en) * 2005-08-05 2012-10-02 Samsung Display Co., Ltd. 3D graphics processor and autostereoscopic display device using the same
CN101223552A (zh) * 2005-08-17 2008-07-16 Nxp股份有限公司 用于深度提取的视频处理方法和装置
JP4424299B2 (ja) 2005-11-02 2010-03-03 ソニー株式会社 画像処理方法、画像処理装置およびこれを用いた画像表示装置
US7917286B2 (en) 2005-12-16 2011-03-29 Google Inc. Database assisted OCR for street scenes and other images
CN1848966B (zh) * 2006-04-10 2012-02-22 北京邮电大学 小窗口立体图像制作与显示方法
US8970680B2 (en) 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
TWI421541B (zh) * 2006-10-26 2014-01-01 Seereal Technologies Sa Full image display device and method (2)
WO2008049907A1 (en) * 2006-10-26 2008-05-02 Seereal Technologies S.A. 3d content generation system
US8416276B2 (en) 2006-10-26 2013-04-09 Seereal Technologies S.A. Mobile telephony system comprising holographic display
US8559983B1 (en) 2007-05-03 2013-10-15 Iwao Fujisaki Communication device
US7890089B1 (en) 2007-05-03 2011-02-15 Iwao Fujisaki Communication device
US20090002368A1 (en) * 2007-06-26 2009-01-01 Nokia Corporation Method, apparatus and a computer program product for utilizing a graphical processing unit to provide depth information for autostereoscopic display
US8676273B1 (en) 2007-08-24 2014-03-18 Iwao Fujisaki Communication device
US8639214B1 (en) 2007-10-26 2014-01-28 Iwao Fujisaki Communication device
US8472935B1 (en) 2007-10-29 2013-06-25 Iwao Fujisaki Communication device
JP5243003B2 (ja) * 2007-11-28 2013-07-24 富士フイルム株式会社 画像処理装置および方法並びにプログラム
CN101459857B (zh) * 2007-12-10 2012-09-05 华为终端有限公司 通信终端
US8744720B1 (en) 2007-12-27 2014-06-03 Iwao Fujisaki Inter-vehicle middle point maintaining implementer
US8340726B1 (en) 2008-06-30 2012-12-25 Iwao Fujisaki Communication device
US8452307B1 (en) 2008-07-02 2013-05-28 Iwao Fujisaki Communication device
JP4847500B2 (ja) * 2008-08-28 2011-12-28 富士フイルム株式会社 ３次元表示装置および方法並びにプログラム
JP4625515B2 (ja) * 2008-09-24 2011-02-02 富士フイルム株式会社 ３次元撮影装置および方法並びにプログラム
CN101726983B (zh) * 2008-10-16 2011-07-27 纬创资通股份有限公司 具有照相功能的电子装置
WO2010061661A1 (ja) * 2008-11-25 2010-06-03 株式会社ソニー・コンピュータエンタテインメント 画像表示装置、画像表示方法及び情報記憶媒体
TWI375449B (en) * 2008-11-28 2012-10-21 Wistron Corp Electronic apparatus with photographing function and 3d image forming method
GB2467932A (en) * 2009-02-19 2010-08-25 Sony Corp Image processing device and method
US9195898B2 (en) * 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
TWI414170B (zh) * 2009-04-29 2013-11-01 Unique Instr Co Ltd A device with a 2D and 3D image display function mobile phone
KR101279120B1 (ko) * 2009-05-15 2013-06-26 엘지디스플레이 주식회사 영상표시장치
US8504640B2 (en) 2009-06-02 2013-08-06 Motorola Solutions, Inc. Device recruitment for stereoscopic imaging applications
JP2011101229A (ja) * 2009-11-06 2011-05-19 Sony Corp 表示制御装置、表示制御方法、プログラム、出力装置、および送信装置
GB0910545D0 (en) * 2009-06-18 2009-07-29 Therefore Ltd Picturesafe
JP5521486B2 (ja) * 2009-06-29 2014-06-11 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
CN102172032A (zh) * 2009-08-31 2011-08-31 松下电器产业株式会社 立体视控制装置、集成电路、立体视控制方法
JP4875127B2 (ja) * 2009-09-28 2012-02-15 パナソニック株式会社 三次元画像処理装置
US8898596B2 (en) * 2009-10-08 2014-11-25 Lg Electronics Inc. Mobile terminal and data extracting method in a mobile terminal
KR101623783B1 (ko) * 2009-10-08 2016-05-24 엘지전자 주식회사 이동 단말기 및 이것의 데이터 추출 방법
JP5402504B2 (ja) * 2009-10-15 2014-01-29 株式会社Ｊｖｃケンウッド 擬似立体画像作成装置及び擬似立体画像表示システム
JP2011101230A (ja) * 2009-11-06 2011-05-19 Sony Corp 表示制御装置、表示制御方法、プログラム、出力装置、および送信装置
CN101753651A (zh) * 2009-12-03 2010-06-23 王小鹏 一种可观看立体图像的手机
JP4951079B2 (ja) * 2010-03-11 2012-06-13 株式会社東芝 立体表示装置、映像処理装置
KR101781846B1 (ko) * 2010-05-19 2017-09-26 엘지전자 주식회사 이동 단말기 및 이것의 이미지 디스플레이 제어 방법
US8826184B2 (en) * 2010-04-05 2014-09-02 Lg Electronics Inc. Mobile terminal and image display controlling method thereof
TWI470994B (zh) * 2010-07-06 2015-01-21 Himax Media Solutions Inc 視訊顯示調整方法及視訊顯示調整裝置
KR101638918B1 (ko) * 2010-08-17 2016-07-12 엘지전자 주식회사 이동 단말기 및 이것의 표시 방식 전환 방법
KR20120017228A (ko) 2010-08-18 2012-02-28 엘지전자 주식회사 이동 단말기 및 상기 이동 단말기의 영상 표시 방법
US8831273B2 (en) 2010-09-10 2014-09-09 Reald Inc. Methods and systems for pre-processing two-dimensional image files to be converted to three-dimensional image files
US9485497B2 (en) 2010-09-10 2016-11-01 Reald Inc. Systems and methods for converting two-dimensional images into three-dimensional images
US9014462B2 (en) 2010-11-10 2015-04-21 Panasonic Intellectual Property Management Co., Ltd. Depth information generating device, depth information generating method, and stereo image converter
US9049423B2 (en) 2010-12-01 2015-06-02 Qualcomm Incorporated Zero disparity plane for feedback-based three-dimensional video
US9135426B2 (en) 2010-12-16 2015-09-15 Blackberry Limited Password entry using moving images
US8863271B2 (en) 2010-12-16 2014-10-14 Blackberry Limited Password entry using 3D image with spatial alignment
US8931083B2 (en) 2010-12-16 2015-01-06 Blackberry Limited Multi-layer multi-point or randomized passwords
US8745694B2 (en) 2010-12-16 2014-06-03 Research In Motion Limited Adjusting the position of an endpoint reference for increasing security during device log-on
US9258123B2 (en) 2010-12-16 2016-02-09 Blackberry Limited Multi-layered color-sensitive passwords
US8769641B2 (en) 2010-12-16 2014-07-01 Blackberry Limited Multi-layer multi-point or pathway-based passwords
JP5050094B2 (ja) * 2010-12-21 2012-10-17 株式会社東芝 映像処理装置及び映像処理方法
JP2012151667A (ja) 2011-01-19 2012-08-09 Renesas Electronics Corp 携帯機器及びマイクロコンピュータ
WO2012098534A1 (en) * 2011-01-23 2012-07-26 Extreme Reality Ltd. Methods, systems, devices and associated processing logic for generating stereoscopic images and video
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
CN102905141A (zh) * 2011-07-28 2013-01-30 联咏科技股份有限公司 二维转三维转换装置及其方法
JP5174223B2 (ja) * 2011-08-31 2013-04-03 株式会社東芝 オブジェクト探索装置、映像表示装置およびオブジェクト探索方法
WO2013059724A1 (en) 2011-10-21 2013-04-25 California Institute Of Technology System and method for determining the isotopic anatomy of organic and volatile molecules
US9223948B2 (en) 2011-11-01 2015-12-29 Blackberry Limited Combined passcode and activity launch modifier
WO2013089662A1 (en) * 2011-12-12 2013-06-20 Intel Corporation Scene segmentation using pre-capture image motion
US9690334B2 (en) * 2012-08-22 2017-06-27 Intel Corporation Adaptive visual output based on change in distance of a mobile device to a user
US9007365B2 (en) 2012-11-27 2015-04-14 Legend3D, Inc. Line depth augmentation system and method for conversion of 2D images to 3D images
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
JP2022027107A (ja) * 2020-07-31 2022-02-10 セイコーエプソン株式会社 画像表示方法、画像表示装置及び表示制御プログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2532267B1 (fr) 1982-08-31 1988-05-27 Lely Nv C Van Der Tracteur comportant une pluralite de roues motrices
JPH01306821A (ja) * 1988-06-03 1989-12-11 Nikon Corp トリミング撮影可能なカメラ及び画像出力装置
JP3112485B2 (ja) 1991-01-22 2000-11-27 オリンパス光学工業株式会社 立体電子スチルカメラ
JPH05122733A (ja) 1991-10-28 1993-05-18 Nippon Hoso Kyokai <Nhk> ３次元画像表示装置
JP3739821B2 (ja) 1993-10-04 2006-01-25 モトローラ・インコーポレイテッド 小型虚像ディスプレイを具備するトランシーバ
JP3086577B2 (ja) * 1993-12-22 2000-09-11 三洋電機株式会社 ２次元画像の３次元化方法
TW269094B (en) * 1994-11-11 1996-01-21 Nitendo Kk Three dimensional visual image display device and electric game apparatus, memory device thereof
JP3579162B2 (ja) 1995-06-29 2004-10-20 松下電器産業株式会社 立体ｃｇ画像生成装置
JP2807447B2 (ja) 1995-10-31 1998-10-08 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置
JP2951291B2 (ja) * 1997-06-17 1999-09-20 三洋電機株式会社 ２次元映像を３次元映像に変換する装置および方法
JPH1075432A (ja) * 1996-08-29 1998-03-17 Sanyo Electric Co Ltd 立体テレビ電話器
JPH10108152A (ja) * 1996-09-27 1998-04-24 Sanyo Electric Co Ltd 携帯情報端末
JPH10222093A (ja) 1996-12-06 1998-08-21 Sony Corp 携帯型表示装置
US5818463A (en) * 1997-02-13 1998-10-06 Rockwell Science Center, Inc. Data compression for animated three dimensional objects
JP3644472B2 (ja) 1997-07-11 2005-04-27 アイシン・エィ・ダブリュ株式会社 建造物形状地図による情報案内装置及び情報案内方法
DE19730565A1 (de) 1997-07-17 1999-02-11 Daimler Benz Ag Verwendung eines holographischen Bildschirmes als Darstellungsfläche für Informationssysteme
US6097854A (en) * 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
JPH11133234A (ja) 1997-10-28 1999-05-21 Dainippon Printing Co Ltd 表示窓用透明ホログラム
JP2000078611A (ja) 1998-08-31 2000-03-14 Toshiba Corp 立体映像受信装置及び立体映像システム
JP2000137428A (ja) * 1998-10-30 2000-05-16 Sony Corp 画像再生装置
JP3639475B2 (ja) * 1999-10-04 2005-04-20 シャープ株式会社 ３次元モデル生成装置および３次元モデル生成方法ならびに３次元モデル生成プログラムを記録した記録媒体
JP2001117522A (ja) 1999-10-14 2001-04-27 Samii Kk 立体画像プロモーション装置
EP1098498A1 (fr) * 1999-11-04 2001-05-09 Koninklijke Philips Electronics N.V. Appareil comportant un écran pour des images stéréoscopiques
JP2001251403A (ja) 2000-03-07 2001-09-14 Sony Corp 電話装置
JP2001308997A (ja) 2000-04-20 2001-11-02 Dainippon Printing Co Ltd 表示装置付き携帯情報装置
EP1158786A3 (en) * 2000-05-24 2005-03-09 Sony Corporation Transmission of the region of interest of an image
JP2002077944A (ja) * 2000-09-04 2002-03-15 Fuji Photo Film Co Ltd 立体映像装置
JP2002084552A (ja) 2000-09-07 2002-03-22 Fuji Xerox Co Ltd カラオケ用立体画像表示装置およびカラオケ用立体画像表示方法
JP2002123842A (ja) 2000-10-13 2002-04-26 Takumi:Kk 立体視画像生成装置および情報記憶媒体
JP2002250895A (ja) * 2001-02-23 2002-09-06 Mixed Reality Systems Laboratory Inc 立体画像表示方法及びそれを用いた立体画像表示装置
US6995762B1 (en) * 2001-09-13 2006-02-07 Symbol Technologies, Inc. Measurement of dimensions of solid objects from two-dimensional image(s)
US20030164819A1 (en) * 2002-03-04 2003-09-04 Alex Waibel Portable object identification and translation system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012111998A2 (ko) 2011-02-18 2012-08-23 Kim Seok-Joong 포인터를 사용하지 않는 가상 터치 장치
WO2013009040A2 (ko) 2011-07-11 2013-01-17 Kim Seok-Joong 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
US9569103B2 (en) 2012-05-29 2017-02-14 VTouch Co., Ltd. Remote control apparatus and method for performing virtual touch by using information displayed by a projector

Also Published As

Publication number Publication date
CN100469152C (zh) 2009-03-11
EP1379063A1 (en) 2004-01-07
CN1471322A (zh) 2004-01-28
JP2004040445A (ja) 2004-02-05
US7889192B2 (en) 2011-02-15
US20040004616A1 (en) 2004-01-08

Similar Documents

Publication Publication Date Title
KR20040004135A (ko) 3차원 표시 기능을 갖는 휴대 기기
JP5739674B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP4869430B1 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
AU2020250124B2 (en) Image processing method and head mounted display device
JP5646263B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US8830231B2 (en) Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
CN104243818A (zh) 图像处理方法、装置及设备
WO2015192547A1 (zh) 一种基于移动终端的三维照片拍摄方法及移动终端
WO2021147921A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
WO2022001806A1 (zh) 图像变换方法和装置
CN112337105B (zh) 虚拟形象生成方法、装置、终端及存储介质
WO2014037972A1 (ja) 表示装置、表示方法及びプログラム
US20150326847A1 (en) Method and system for capturing a 3d image using single camera
CN112581571A (zh) 虚拟形象模型的控制方法、装置、电子设备及存储介质
CN108933891B (zh) 拍照方法、终端及系统
CN112308103B (zh) 生成训练样本的方法和装置
CN109218709A (zh) 全息内容的调整方法及装置和计算机可读存储介质
CN113191976A (zh) 图像拍摄方法、装置、终端及存储介质
JP5896445B2 (ja) 表示装置、表示方法及びプログラム
CN113850709A (zh) 图像变换方法和装置
CN108234888B (zh) 一种图像处理方法及移动终端
KR102557592B1 (ko) 이미지 표시 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체
CN114697516A (zh) 三维模型重建方法、设备和存储介质
KR100659901B1 (ko) 이동 단말기의 아바타 움직임 제어 방법 및 그 이동 단말기
CN110191276A (zh) 拍摄模式的切换方法及装置、电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application