KR20030007776A - 현실감 향상 방법, 시스템 및 장치 - Google Patents

Abstract

본 발명의 휴대용 전자장치는 실제 장면과, 겹쳐지는 컴퓨터가 생성한 오버레이 장면(overlay scene; 중첩되는 장면)을 보기 위한 현실감 향상 관측 장치를 포함한다. 일 실시예에서, 상기 관측 장치는 디스플레이 스크린(2)과, 반투명한 미러(3)를 포함한다. 반투명한 미러(3)는 장치에 피벗식으로 장착되고, 현실감이 향상된 장면을 보는 위치와 디스플레이된 이미지만을 보는 위치 사이에서 회전할 수 있다. 다른 실시예에서, 실제 장면을 투명한 디스플레이 스크린을 통해 볼 수 있다. 현실감이 향상된 장면을 볼 때, 사용자는 실제 장면의 예정된 구성부분에 대응하는 오버레이 장면의 정렬 표시(13, 15; 도 5에 도시되지 않음)를 사용하여 오버레이 장면을 실제 장면과 정렬할 수 있다. 본 발명의 장치는 위치 결정 수단(50)을 구비할 수 있어, 표시되는 이미지가 장치에 국지적으로 저장되어 있는지 또는 원격 서버로부터 무선으로 전송되는지, 표시되는 이미지가 장치의 위치에 의존하여 선택된다. 또한, 본 발명의 장치는 표시되는 이미지가 장치의 방향에 의존하여 선택되도록 방향 센서를 구비할 수 있다.

Description

현실감 향상 방법, 시스템 및 장치{Method, system and device for augmented reality}

헤드-업 디스플레이는 컴퓨터가 생성한 정보를 실제 장면에 겹치고, 사용자가 실제 장면으로부터 눈을 돌리지 않고도 컴퓨터가 생성한 정보를 볼 수 있게 한다. 예를 들어, 미국 특허 제 6,091,376호는 정보 및 전화기 푸쉬 버튼이 자동차의 전방 유리창 외측의 전면(front view)에 대해 중첩되게 표시될 수 있도록 자동차에서 사용되는 이동 전화기 장비를 공개한다. 표시되는 정보의 타입의 예로는 전화가 왔을 때 전화 번호 및 통화 시간(call duration), 전화가 오지 않을 때는 주행 속도 및 이동한 거리가 있다.

현실감 향상 시스템에서, 컴퓨터가 생성한 이미지는 실제 장면에 겹쳐져 실제 장면을 개선한다. 트래킹 시스템(tracking system)이 사용되어 실제 장면과 컴퓨터가 생성한 이미지를 정확히 정렬한다. 예를 들어, 미국 특허 제 6,064,749호는 카메라로부터 얻은 실제 장면의 이미지의 분석을 사용하는 트래킹 시스템을 공개한다.

컴퓨터가 생성한 이미지를 실제 장면에 겹치는 것은 일반적으로 반도금 거울(half-silvered mirror)을 사용하여 수행되고, 이 거울을 통해 사용자가 실제 장면을 보며, 이는 사용자에게 디스플레이 장치에 의해 반도금 거울에 투영된 컴퓨터가 생성한 이미지를 반사한다.

본 발명은 특히 휴대용 무선 통신 응용기술에 사용되지만 이에 제한되지는 않는 현실감 향상 방법, 시스템 및 장치에 대한 것이다.

도 1은 현실감이 향상되게 보기 위한 반투명 미러와 디스플레이 스크린의 전형적인 구성을 예시하는 도면.

도 2a 내지 도 2c는 정렬 표시를 포함하는 현실감 향상 장면의 구성요소의 일 예의 도면.

도 3a 내지 도 3c는 정렬 표시를 포함하는 현실감 향상 장면의 구성요소의 다른 예의 도면.

도 4는 현실감이 향상된 장면(scene)을 보기 위한 설비를 갖추고 있으며 피벗식으로 장착된 반투명한 미러를 갖는 휴대용 전화기의 개략 사시도.

도 5는 반투명 미러가 제 1 위치에 있는 상태의, 도 4에 도시된 휴대용 전화기의 개략 측단면도.

도 6은 반투명 미러가 제 2 위치에 있는 상태의, 도 3에 도시된 휴대용 전화기의 개략 측단면도.

도 7은 현실감이 향상된 장면을 보기 위한 설비를 갖추고 있으며 모두 피벗식으로 장착된 반투명한 미러와 디스플레이 스크린을 갖는 휴대용 전화기의 개략 측단면도.

도 8은 휴대용 전화기의 주요 전기적 구성부분의 개략 블록도.

도 9는 위치-감지 휴대용 전화기의 제 1 실시예의 개략 블록도.

도 10은 위치-감지 휴대용 전화기의 제 2 실시예의 개략 블록도.

도 11은 제 1 실시예의 위치-감지 휴대용 전화기를 사용하는 시스템을 예시하는 도면.

도 12는 제 2 실시예의 위치-감지 휴대용 전화기를 사용하는 시스템을 예시하는 도면.

도 13a 내지 도 13c는 도 12의 시스템에서 위치-감지 휴대용 전화기에 표시된 정렬 표시를 포함하는 현실감이 증강된 장면의 구성부분들의 일례의 도면.

도 14는 투명한 디스플레이를 갖는 휴대용 전화기의 개략 측단면도.

본 발명의 목적은 현실감 향상 시스템 및 장치, 이 현실감 향상 시스템 및 장치에 사용되는 방법을 개선하는 것이다.

본 발명에 따르면, 오버레이 장면(overlay scene)에 포함되는 실제 장면의 예정된 부분에 대응하는 정렬 표시(alignment indicator)를 생성하고, 사용시의 정렬 표시는 실제 장면의 예정된 부분과 정렬되는 것을 특징으로 하는 현실감 향상 관측 장치(augmented reality viewing apparatus)에 표시될 오버레이 장면을 준비하는 방법을 제공한다.

본 발명의 다른 특징에 따르면, 실제 장면의 예정된 부분에 대응하는 정렬 표시를 포함하는, 실제 장면과 조합되어 현실감이 향상된 장면을 형성하기에 적합한 오버레이 장면이 제공되며, 사용시의 정렬 표시는 실제 장면의 예정된 부분과 정렬된다.

정렬 표시는 실제 장면의 이미지의 분석 및 분석된 이미지를 오버레이 이미지에 적용하는 장치가 필요없이 간단하고 저비용의 방식으로 오버레이 장면과 실제 장면이 사용자에 의해 정렬될 수 있게 한다. 정렬 표시는 실제 장면의 어느 부분과 정렬 표시가 정렬되어야 하는지를 사용자가 쉽게 인식할 수 있도록 선택된다. 예를들어, 정렬 표시는 돌출된 형상(prominent shape)을 포함할 수 있다. 정렬 표시는 사용자가 정렬을 수행하는 것을 돕기 위해 문구(text)를 선택적으로 포함할 수 있다.

본 발명의 다른 특징에 따르면, 실제 장면과, 이 실제 장면의 예정된 부분에 대응하는 정렬 표시를 갖는 오버레이 장면을 보는데 적합한 현실감 향상 관측 장치를 구비한 휴대용 전자 장치가 제공되며, 현실감 향상 관측 장치는 디스플레이 스크린을 포함하고, 상기 전자 장치는 디스플레이 스크린이 오버레이 장면을 표시하는 제 1 모드와, 디스플레이 스크린이 겹쳐지지 않은 장면을 표시하는 제 2 모드를 갖는다.

이러한 휴대용 전자 장치에 의해, 사용자는 현실감이 향상된 장면을 볼 수 있고, 오버레이 장면의 정렬 표시에 의해 실제 장면을 오버레이 장면과 쉽게 정렬할 수 있다. 또한, 이러한 휴대용 전자 장치에 의해, 사용자는 디스플레이 스크린만을 보는 것에서 현실감이 향상된 장면을 보는 것으로 쉽게 바꿀 수 있고, 그 역도 성립한다.

일 실시예에서, 상기 향상된 관측 장치는 사용자가 디스플레이 스크린 상에 표시된 오버레이 장면을 실제 장면 상에 중첩되게 볼 수 있는 제 1 위치와, 사용자가 실제 장면을 보지 않고 디스플레이 스크린을 볼 수 있는 제 2 위치로 배치할 수 있는 피벗식으로 장착된 반투명한 미러를 포함한다. 예를 들어, 제 2 위치에서, 반투명한 미러는 휴대용 전자 장치의 본체와 마주하게 놓일 수 있고, 제 1 위치에서 반투명한 미러가 휴대용 전자 장치의 본체로부터 멀어지게 피벗될 수 있다. 이에의해 사용자는 현실감이 향상된 관측 모드와, 디스플레이 스크린만이 보이는 디스플레이만을 보는 모드 사이에서 쉽게 변환할 수 있다.

선택적으로, 반투명한 미러의 피벗 회전(pivotal rotation)이 모터에 의해 구동된다. 또한, 선택적으로, 반투명한 미러가 제 1 피벗 위치로 있을 때에 반응하여 제 1 모드가 적용되고, 반투명한 미러가 제 2 피벗 위치로 있을 때에 반응하여 제 2 모드가 적용된다. 이에 의해, 사용자는 예를 들어 전화를 할 때 디스플레이 상에서만 통화 정보를 볼 수 있는 디스플레이만을 보는 모드(display-only viewing mode)와, 현실감이 향상된 관측 모드 간에 간단하게 바꿀 수 있다.

선택적으로, 디스플레이 스크린은 피벗식으로 장착될 수 있다. 또한, 선택적으로, 디스플레이 스크린의 피벗 회전은 모터에 의해 구동될 수 있다.

휴대용 전자 장치의 다른 실시예에서, 제 1 모드에서 디스플레이 스크린은 투명하고 실제 장면이 이 디스플레이 스크린을 통해 보여질 수 있고, 제 2 모드에서 실제 장면이 디스플레이 스크린을 통해 보여지지 않을 수 있다. 이러한 제 2 모드에서, 실제 장면을 보는 것은 디스플레이의 전자적 제어에 의해, 또는 디스플레이 상에 겹쳐지지 않은 장면(non-overlay scene)이 보여질 수 있도록 디스플레이 뒤에 배치되는 마스킹 장치와 같은 기계적 수단에 의해 보이지 않게 될 수 있다. 이에 의해 사용자는 간단하게, 현실감이 향상된 관측 모드와, 디스플레이 스크린만이 보이는 디스플레이만을 보는 모드 사이에서 바꿀 수 있다.

선택적으로, 휴대용 전자 장치는 방향 센서를 포함하고, 제 1모드가 장치의 제 1 방향에 반응하여 적용되고, 제 2 모드는 장치의 제 2 방향에 반응하여 적용된다.

본 발명의 다른 실시예에서, 휴대용 전자 장치는 저장 수단을 포함하며, 저장 수단은 다수의 오버레이 장면을 포함하며, 오버레이 장면은 각각 상이한 실제 장면에 대응하고, 그 각각의 실제 장면의 예정된 부분에 대응하는 정렬 표시와, 상기 다수의 오버레이 장면 중의 어느 것이 디스플레이되는지를 선택하는 선택 수단을 포함하고, 선택 수단은 휴대용 전자 장치의 위치의 표시(indication)에 반응한다. 상기 수단에 의해, 사용자는 다수의 현실감이 향상된 장면들 중의 어느 하나를 보는데 장치를 사용할 수 있고, 오버레이 장면은 장치의 위치에 적합하게 선택된다.

선택적으로, 휴대용 전자 장치는 위치를 측정하는 수단과, 선택 수단에 위치의 표시를 공급하는 수단을 포함한다. 이에 의해, 적절한 오버레이 장면이 자동적으로 선택되고, 사용자가 위치 표시를 제공할 필요가 없다.

선택적으로, 휴대용 전자 장치는 방향 센서와, 방향 표시를 선택 수단에 공급하는 수단을 포함한다. 이러한 수단에 의해, 그 방향에 적합한 오버레이 장면이 선택될 수 있다.

본 발명의 다른 실시예에서, 휴대용 전자 장치는 방향 표시를 생성하는 방향 감지 수단과, 위치 표시를 생성하는 위치 측정 수단과, 저장 수단과, 다수의 오버레이 장면 중의 어느 것을 디스플레이할 것인지를 선택하는 선택 수단을 포함하며, 저장 수단은 다수의 오버레이 장면을 포함하고, 오버레이 장면은 각각 상이한 실제 장면에 대응한다. 선택 수단은 휴대용 전자 장치의 위치 및 방향 표시에 반응한다.이러한 오버레이 장면들은 실제 장면이 사용자에 의해 오버레이 장면을 정렬할 필요가 없을 정도로 충분히 정확하게 실제 장면과 정렬될 때 디스플레이될 수 있다.

본 발명의 다른 실시예에서, 휴대용 전자 장치는 무선 링크(radio link)를 통해 디스플레이될 오버레이 장면을 수신하는 수단을 포함한다. 이러한 수단에 의해, 오버레이 장면들이 휴대용 전자 장치에 저장될 필요가 없고, 무선 링크를 통해 원격 서버로부터 공급되거나, 또는 저장된 오버레이 장면들을 갖고 있는 휴대용 전자 장치에 원격 서버로부터 부가적인 또는 갱신된 오버레이 장면들이 전송될 수 있다.

본 발명의 다른 실시예에서, 휴대용 전자 장치는 위치 측정 수단과, 선택적으로 방향 센서와, 위치 및 선택적으로 방향 표시를 무선 링크를 통해 전송하는 수단을 포함한다. 이러한 수단에 의해, 위치 및 선택적으로 방향 표시를 수신한 원격 서버가 무선 링크를 통해 휴대용 전자 장치에 송신할, 휴대용 전자 장치의 위치 및 선택적으로 방향에 적합한 오버레이 장면을 선택할 수 있다.

본 발명의 다른 특징에 따르면, 디스플레이할 오버레이 장면을 무선 링크를 통해 수신하는 수단과, 저장 수단을 포함하는 공급 수단(serving means)과, 다수의 오버레이 장면들 중에서 휴대용 전자 장치에 디스플레이될 하나를 선택하는 선택 수단을 갖는 휴대용 전자 장치를 포함하는 현실감 향상 시스템이 제공되며, 저장 수단은 상이한 실제 장면에 각각 대응하고 그 각각의 실제 장면의 예정된 부분에 대응하는 정렬 표시를 각각 포함하는 다수의 오버레이 장면들을 갖고, 선택 수단은 휴대용 전자 장치의 위치 및 선택적으로 방향의 표시에 반응하고 선택된 오버레이장면은 휴대용 전자 장치에 전송된다. 이러한 시스템의 일 실시예에서, 위치 및 선택적으로 방향의 표시가, 위치 및 선택적으로 방향을 측정하는 수단을 갖는 휴대용 전자 장치로부터 공급 수단에 전송된다. 다르게는, 위치가 휴대용 전자 장치의 외부에 있는 수단을 사용하여 측정될 수 있다.

본 발명의 다른 특징에 따르면, 휴대용 전자 장치를 포함하는 현실감 향상 시스템이 제공되고, 휴대용 전자 장치는 위치를 측정하는 수단과 방향 센서, 무선 링크를 통해 위치 및 방향의 표시를 전송하는 수단, 디스플레이할 오버레이 장면을 무선 링크를 통해 수신하는 수단을 포함하고, 상기 시스템은 각각 상이한 실제 장면에 대응하는 다수의 오버레이 장면을 저장하는 공급 수단을 포함하며, 공급 수단은 다수의 오버레이 장면들 중에서 휴대용 전자 장치에 디스플레이될 하나를 선택하는 선택 수단과, 선택된 오버레이 장면을 휴대용 전자 장치에 전송하는 수단을 더 포함하고, 선택 수단은 휴대용 전자 장치의 위치 및 방향 표시에 반응한다.

본 발명은 첨부한 도면을 참조하여 예를 들어 설명된다.

먼저, 정렬 표시의 개념에 대해 설명한다. 그 다음에, 정렬 표시를 갖는 현실감이 향상된 장면(scene)을 보기에 적절한 휴대용 전자 장치가 설명되고, 그 다음에 정렬 표시들과 이러한 휴대용 전자 장치를 사용하는 현실감 향상 시스템이 설명된다.

도 1을 참조하면, LCD 스크린과 같은 디스플레이 스크린(2), 반투명한 미러(3)를 포함하는 현실감이 향상된 관측 장치(1)의 전형적인 구성이 예시되어 있다. 반투명한 미러(3)의 평면은 디스플레이 스크린(2)의 평면 및 사용자의 시선 방향(4)에 대해 약 45°이다. 현실감이 향상된 관측 장치(1)의 사용자는 반투명한 미러(3)를 보며, 반투명한 미러(3)를 통해 실제 장면을 보고, 디스플레이 스크린(2)에 디스플레이되어 반투명한 미러(3)에 의해 사용자를 향해 반사되는 컴퓨터가 생성한 오버레이 장면을 본다. 이런 식으로, 실제 장면과 오버레이 장면이 조합된다. 참고하기 쉽도록, 용어 "반투명한 미러"는 본 명세서 및 청구범위에 걸쳐 반투명한 미러만이 아니라 임의의 동등한 구성물도 포괄하는 것으로 사용되었다.

사용자가 오버레이 장면과 실제 장면을 정렬하기 쉽도록, 오버레이 장면은 실제 장면의 예정된 부분에 대응하는 하나 이상의 정렬 표시들을 포함한다. 이러한 정렬 표시의 예들이 도 2b, 도 3b, 및 도 13b에 예시되어 있다.

도 2를 참조하면, 도 2a에, 예를 들어 화랑(art gallery)에 전시되어 있을 수 있는 그림을 포함하는 실제 장면(10)이 있다. 도 2b에는 디스플레이 스크린(2)에 표시되는 컴퓨터가 생성한 오버레이 장면(11)이 있다. 오버레이 장면(11)은 사용자가 실제 장면(10)을 오버레이 장면(11)과 정렬할 수 있도록 제공된 정렬표시(13)를 포함한다. 정렬 표시(13)는 그림의 주변에 대응한다. 오버레이 장면(11)의 나머지 부분은 그림에 대한 주석을 포함하며, 이 주석에는 그림의 특정부분에 대한 정보(이 경우, 지적하지 않았으면 사용자가 놓치고 말았을 시계에 대해 지적함), 작가의 이름, 그림의 제목이 포함된다. 도 2c는 사용자가 현실감이 향상된 장면(12)을 형성하기 위해 실제 장면(10)의 대응하는 부분과 디스플레이된 정렬 표시(13)를 정렬하였을 때, 사용자가 보았을 때 실제 장면(10)과 오버레이 장면(11)이 복합된 것으로 보이는 것을 도시한다.

도 3을 참조하면, 도 3a에는 예를 들어 서비스 기사가 수선 작업을 수행할 때 볼 수 있는 전자회로 기판을 포함하는 실제 장면(14)이 있고, 도 3b에는 디스플레이 스크린(2)에 표시된 컴퓨터가 생성한 오버레이 장면(15)이 있다. 오버레이 장면(15)은 회로기판의 에지에 대응하고, 사용자가 오버레이 장면(15)과 실제 장면(14)을 정렬할 수 있게 하는 정렬 표시(16)를 포함한다. 오버레이 장면(15)의 나머지 부분에는 사용자에게 전자회로 기판의 특정한 부분에 대한 정보(이 경우에는 조정해야 할 곳을 지적하며, 이는 예시만을 위한 것임)를 제공하는 주석이 포함된다. 도 3c는 사용자가 현실감이 향상된 장면(17)을 형성하기 위해 실제 장면(14)의 대응하는 부분과 디스플레이된 정렬 표시(16)를 정렬하였을 때, 사용자가 보았을 때 실제 장면(14)과 오버레이 장면(15)이 복합된 것으로 보이는 것(17)을 도시한다.

실제 장면, 오버레이 이미지, 및 오버레이 장면을 형성하기 위해 오버레이 이미지와 조합될 수 있는 정렬 표시의 다른 예들이 표 1에 나타나 있다.

실제 장면	오버레이 이미지	정렬 표시
시가지	유명한 상점에 대한 주석	주요 건물
풍경	지리학적 또는 역사적 특징의 주석	주요 강, 언덕 또는 건물
자동차 엔진	수리 정보	주요 엔진 부품
밤하늘	별들의 이름	주요 별 또는 크로스와이어

정렬 표시를 갖는 현실감이 향상된 장면을 보기에 적합한 휴대용 전자 장치들이 일례로서 이동 전화기를 사용하여 설명된다. 도 4를 참조하면, 피벗식으로 장착된 반투명한 미러(3)와 디스플레이 스크린(2)을 갖는 이동 전화(20)의 개략 사시도가 예시되어 있고, 반투명한 미러는 디스플레이된 이미지만을 볼 때 디스플레이 스크린(2)에 평행하게 위치될 수 있고, 현실감이 향상된 장면을 볼 때에는 도 4에 예시된 바와 같이 디스플레이 스크린(2)으로부터 회전될 수 있다. 도 5는 사용자가 현실감이 향상된 장면을 볼 수 있도록 피벗식으로 장착된 반투명한 미러(3)가 피벗 축(5) 둘레에서 디스플레이 스크린(2)에 대해 약 45°의 위치로 회전되었을 때의 도 4의 이동 전화(20)의 개략 측단면도를 예시한다. 또한, 도 5는 현실감이 향상된 장면만을 볼 때의 사용자의 시선을 예시하며, 이 시선은 디스플레이 스크린(2)의 디스플레이 면에 평행하다. 사용자는 반투명한 미러(3)에 의해 반사되는 디스플레이된 정렬 표시의 이미지가 반투명한 미러(3)를 통해 보이는 실제 장면의 예정된 부분과 정렬되도록 이동 전화(20)를 움직인다. 도 6은 피벗식으로 장착된 반투명한 미러(3)가 디스플레이 스크린(2)에 평행하게 위치될 때의 도 4의 이동 전화(20)의 개략 측면도를 예시하며, 또한 실제 장면없이 디스플레이된 이미지만을 볼 때의 사용자의 시선을 예시하며, 이 시선은 디스플레이 스크린(2)의 디스플레이 면에 대해 거의 수직이다.

선택적으로, 디스플레이 스크린(2)에 의해 디스플레이되는 이미지는 이동 전화(20)의 본체(21)에 대한 또는 디스플레이 스크린(2)에 대한 반투명한 미러(3)의 각도에 의존할 수 있다. 도 5 및 도 6에 예시된 실시예에서, 선택적인 스위치 수단(6)이 반투명한 미러(3)가 디스플레이 스크린(2)에 대해 평행하게 위치하는지 또는 평행한 위치로부터 피벗된 위치에 있는지 여부를 검출한다. 스위치 수단(6)이 반투명한 미러(3)가 디스플레이 스크린(2)에 대해 평행하게 위치한다고 검출하면, 실제 장면없이 단독으로 보여지도록 되어 있는 이미지, 예를 들어 통화중에 통화정보만이 디스플레이 스크린(2) 상에 표시된다. 스위치 수단(6)이 반투명한 미러(3)가 디스플레이 스크린(2)으로부터 피벗된 위치에 있다고 검출하면, 정렬 표시를 포함하는 현실감이 향상된 장면을 위한 오버레이 장면이 디스플레이 스크린(2)에 표시될 수 있다.

선택적으로, 피벗 축(5) 둘레에서의 반투명한 미러(3)의 회전이 모터에 의해 구동될 수 있다. 도 5 및 도 6에 예시된 실시예에서, 선택적인 모터(7)가 반투명한 미러(3)를 회전구동시킨다.

선택적으로, 반투명한 미러(3)와 디스플레이 스크린(2)이 모두 피벗식으로 장착될 수 있다. 도 7을 참조하면, 제 1 피벗 축(5) 둘레로 회전될 수 있는 반투명한 미러(3)와 제 2 피벗 축(8) 둘레로 회전될 수 있는 디스플레이 스크린(2)을 갖는 이동 전화의 개략적인 측단면도가 예시되어 있다. 이 실시예에서, 현실감이 향상된 장면을 보기 위해, 디스플레이 스크린(2)은 이동전화의 본체(22)의 표면에 대해 약 90°회전되어 있고, 반투명한 미러(3)는 디스플레이 스크린(2)에 대해 약 45°회전되어 있다. 디스플레이 스크린(2)과 반투명한 미러(3)는 현실감이 향상된 장면을 보기 위한 이들 각각의 위치에서 사용자의 시선(4)이 본체(22)를 지나가고 본체(22)에 의해 막히지 않도록 이동전화의 본체(22)에 부착되어 있다. 사용자는 반투명한 미러(3)에 의해 반사된 디스플레이된 정렬 표시의 이미지가 반투명한 미러(3)를 통해 보이는 실제 장면의 예정된 부분과 정렬되도록 이동전화를 움직인다.

선택적으로, 도 7에 예시된 이동 전화의 디스플레이 스크린(2)에 의해 표시된 이미지는 이동 전화의 본체(22)에 대한 디스플레이 스크린(2) 또는 반투명한 미러(3)의 각도에 의존할 수 있다. 도 7에 예시된 실시예에서, 선택적인 스위치 수단(6)이 디스플레이 스크린(2)이 본체(22)로부터 회전된 위치에 있는지 여부를 검출한다. 스위치 수단(6)이 디스플레이 스크린(2)이 본체(22)로부터 회전되어 있지 않다고 검출하면, 실제 장면없이 단독으로 보여지도록 된 이미지, 예를 들어 통화중에 통화 정보만이 디스플레이 스크린(2) 상에 표시된다. 스위치 수단(6)이 디스플레이 스크린(2)이 본체(22)로부터 회전된 위치에 있다고 검출하면, 정렬 표시를 포함하는 현실감이 향상된 장면을 위한 오버레이 장면이 디스플레이 스크린(2) 상에 표시될 수 있다. 다르게는 또는 부가적으로(도시되지 않음), 반투명한 미러(3)이 디스플레이 스크린(2)에 평행하게 위치하는지 여부 및 현실감이 향상된 장면을 위한 오버레이 장면 또는 겹쳐지지 않는 이미지(non-overlay image)가 적절히 표시되었는지 여부를 검출하기 위해 센서 또는 스위치 수단이 포함될 수 있다.

선택적으로, 피벗 축(8, 5) 둘레에서의 디스플레이 스크린(2) 및 반투명한미러(3)의 회전이 각각 모터에 의해 구동될 수 있다. 도 7에 예시된 실시예에서, 선택적인 모터(7)가 디스플레이 스크린(2) 및 반투명한 미러(3)를 회전구동한다.

정렬 표시를 갖는 현실감이 향상된 장면을 보기에 적합한 휴대용 전자 장치의 다른 실시예가 이제 설명된다. 도 14를 참조하면, 고정된 디스플레이 스크린(2)을 갖는 이동 전화(20)의 개략 측단면도가 예시되어 있다. 또한, 도 14는 현실감이 향상된 장면을 볼 때의 사용자의 시선(4)을 예시하며, 이 시선은 디스플레이 스크린(2)의 디스플레이 면에 수직이다. 이 실시예에서, 실제 장면이 디스플레이 스크린(2)을 통해 보여지도록 현실감이 향상된 장면을 볼 때 디스플레이 스크린(2)은 오버레이 장면의 부분들이 투명할 필요가 없을 때를 제외하고는 투명하다. 이러한 투명한 디스플레이 스크린(2)은 공지된 기술을 사용할 수 있다. 겹쳐지지 않은 장면을 볼 때는 실제 장면은 보이지 않는다. 다양한 방식, 예를 들어 디스플레이 스크린(2)이 전기적으로 변환되어 불투명하게 또는 반투명하게 되어 보이지 않게 되거나, 또는 실제 장면이 보이지 않도록 기계적 수단이 사용될 수 있다. 도 14에서, 선택적인 마스킹 장치(81)가 디스플레이 스크린(2) 뒤에 장착되고, 도면부호 81로 도시된 위치에 있을 때 실제 장면이 보이지 않게 하고, 투명한 디스플레이 스크린(2)을 통해 실제 장면이 보여지도록 디스플레이 스크린(2)으로부터 도면부호 81'로 도시된 위치로 슬라이딩할 수 있다. 선택적으로, 스위치 수단(82)이 구비되어 마스킹 장치(81)가 실제 장면이 보이지 않게 하는 위치에 있는지 여부를 검출할 수 있다. 실제 장면이 보이지 않게 되면, 실제 장면 없이 단독으로 보여지도록 된 겹쳐지지 않은 이미지, 예를 들어 통화 중의 통화 정보만이 디스플레이 스크린(2)상에 표시된다. 실제 장면이 (도면부호 81'에 도시된 위치의) 마스킹 장치(81)에 의해 보이지 않게 되어 있지 않다고 스위치 수단(82)이 검출하면, 정렬 표시를 포함하는 현실감이 향상된 장면을 위한 오버레이 장면이 디스플레이 스크린(2) 상에 표시될 수 있다.

도 5, 도 6 및 도 14의 사용자의 시선과 이동 전화의 방향으로부터 명백한 바와 같이, 사용자가 도 5 및 도 14에 예시된 바와 같이 현실감이 향상된 장면을 보는지, 또는 도 6에 예시된 바와 같이 겹치지 않은 이미지를 보는지 여부에 따라 상이한 방향에 이동 전화를 유지하고 싶어할 수 있다. 다른 선택사항으로는 이동 전화(20)의 방향을 검출하는 방향 센서(9)를 포함하여, 겹치지 않은 이미지가 디스플레이 스크린(2) 상에 표시될지 또는 현실감이 향상된 장면을 위한 오버레이 장면이 표시될지를 제어하는 것이 있다.

도 8을 참조하면, 이동 전화(20)의 주요 전기적 구성부분의 개략적인 블록도가 도시되어 있다. 라디오 안테나(31)가 송수신기(32)에 커플링되어 있다. 송수신기(32)는 휴대폰 네트워크(cellular phone network) 상의 무선 작동을 지원한다. 송수신기는 처리 수단(33; processing means)에 커플링된다. 송수신기는 수신된 데이터를 처리 수단(33)에 전달하고, 처리 수단(33)은 전송을 위해 데이터를 송수신기에 전달한다. 처리 수단(33)은 디스플레이 스크린(2)에 커플링되며, 이 스크린은 처리 수단(33)에 이동 전화(20)의 방향 표시를 전달하는 선택적인 방향 센서(9)에 디스플레이될 이미지를 전달하며, 디스플레이 스크린(2) 상에 표시될 이미지를 저장하는 메모리 수단(34)에 전달하고, 사용자가 그에 의해 처리 수단(33)에 명령을보낼 수 있는 수단인 키패드(keypad)와 같은 사용자 입력 수단(36)에 전달한다. 피벗식으로 장착된 반투명한 미러(3)를 갖는 실시예의 경우에, 처리 수단(33)은 선택적인 모터(7)에 또한 커플링되며, 이 모터는 처리 수단(33)의 제어하에 반투명한 미러(3)를 디스플레이 스크린(2)에 평행한 위치와 디스플레이 스크린에 약 45°의 위치 사이에서 회전한다. 처리 수단(33)은 선택적인 스위치 수단(6)에도 커플링되며, 이 스위치 수단은 피벗식으로 장착된 반투명한 미러(3)를 갖는 실시예의 경우에, 피벗식으로 장착된 반투명한 미러(3)가 디스플레이 스크린(2)에 평행하게 위치될지 또는 디스플레이 스크린(2)으로부터 회전되어 위치될지 여부의 표시를 처리 수단(33)에 전달하고, 투명한 디스플레이 스크린(2)과 마스킹 장치(81)를 갖는 실시예의 경우에, 마스킹 장치(81)가 실제 장면이 보이지 않게 하는지 여부의 표시를 처리 수단(33)에 전달한다.

메모리 수단(34)은 하나 이상의 실제 장면에 대응하는 디스플레이할 하나 이상의 오버레이 장면을 포함한다. 오버레이 장면은 메모리 수단(34)에 미리 저장되어 있거나, 및/또는 원격 서버로부터 이동 전화(20)로 무선으로 전송되고 송수신기(32)에 의해 수신되고 처리 수단(33)에 의해 메모리 수단(34)에 저장될 수 있다.

오버레이 장면 또는 겹쳐지지 않는 이미지 중의 어느 것이 디스플레이 스크린(2)에 표시될 것인지는 처리 수단(33)에 보내지는 사용자의 명령에 의하거나, 또는 상술한 바와 같이 반투명한 미러(3; 만약 있다면)의 회전 위치에 의해, 또는 디스플레이 스크린(2; 피벗식으로 장착되었다면)의 회전 위치에 의해, 또는 상술한바와 같이 블랭킹 장치(81; blanking device, 만약 있다면)의 위치에 의해, 또는 상술한 바와 같은 방향 센서(9)의 지시에 의해, 또는 송수신기(32)에 의해 수신된 신호에 의해 정해진다.

다수의 오버레이 장면 중에 디스플레이할 하나를 선택하는 것은 처리 수단(33)에 보내지는 사용자의 명령에 의해 이루어진다. 이런 식으로, 사용자는 그의 위치와 그가 보기 원하는 실제 장면에 맞는 오버레이 장면을 선택할 수 있다. 다르게는, 디스플레이될 오버레이 장면을 실제 장면과 위치에 맞게 선택하는 것은 이동 전화(20)와 연계된 위치 측정 장치에 의해 측정된다.

다른 실시예에서, 다수의 오버레이 장면 중에 디스플레이할 하나를 선택하는 것은 위치 표시 및 선택적으로, 이동 전화(20)의 방향 표시에 반응하여 이루어진다. 이 실시예에서, 방향 표시는 예시된 방향 센서(9) 또는 제 2 방향 센서에 의해 생성될 수 있다.

후술하는 다른 실시예에서, 위치 및 실제 장면에 맞는, 선택적으로 방향에 적합한 디스플레이할 오버레이 장면의 선택은 원격으로 사용자 및 이동 전화에 의해 정해진다. 두 가지의 이러한 위치-감지 실시예가 설명된다.

도 9를 참조하면, 이동전화(20')의 제 1 위치-감지 실시예가 예시되어 있다. 도 8의 실시예의 것과 동일한 도 9의 실시예의 구성요소는 다시 설명되지 않는다. 도 9의 실시예는 제 2 안테나(41)와 제 2 송수신기(40)를 갖는다는 점에서 도 8의 실시예와 다르다. 제 2 송수신기(40)는 예를 들어 블루투스 무선 표준(Bluetooth radio standard)을 준수하는 단거리 무선통신(short range communication)을 지원한다. 이동 전화(20')는 원격 단거리 송수신기로부터 디스플레이할 오버레이 장면을 수신하거나 또는 메모리 수단(34) 내에 저장된 다수의 오버레이 장면 중의 특정한 하나를 디스플레이하라는 명령을 수신한다.

도 9의 실시예가 사용될 수 있는 시스템의 일례가 도 11에 예시되어 있다. 도 11을 참조하면, 화랑 실내의 평면도가 예시되어 있다. 방에는 그림(61)들이 있다. 단거리 라디오 송수신기(62)가 각각의 그림에 인접하게 배치된다. 단거리 송수신기들은 근거리 통신망(63; LAN)을 통해 서버(64)에 연결되어 있다. 방문자가 화랑에 이동 전화(20')를 갖고 온다. 방문자가 각각의 그림(61)에 차례로 가까이 이동하면, 가까운 단거리 무선 송수신기(62)가 이동 전화(20')의 제 2 송수신기(40)와 교신하여, 이동 전화(20')의 존재를 인식한다. 이동 전화(20')의 존재를 인식하면, 단거리 무선 송수신기(62)는 서버(64)에 LAN(63)을 통해 이동 전화(20')의 존재를 보고한다. 서버(64)는 어떤 단거리 무선 송수신기(62)가 이동 전화(20')의 존재를 보고했는지를 인식하여 이동 전화(20')의 위치를 추정하고, 실내의 각각의 그림에 대한 오버레이 장면을 담고 있는 저장 메모리(65)로부터 보고한 단거리 무선 송수신기(62)에 가까운 그림에 대응하는 오버레이 장면을 선택하고, 그 오버레이 장면을 이동 전화(20')에 전송하기 위해 단거리 무선 송수신기(62)에 보낸다.

각각의 저장된 오버레이 장면은 인접한 그림의 예정된 특징부에 대응하는 정렬 표시를 포함한다. 정렬 표시는 예를 들어 그림의 가장자리에 대응할 수 있다. 오버레이 장면은 제 2 송수신기(40)에 의해 수신되고, 이동 전화(20')의 디스플레이 스크린 상에 표시된다. 이런 식으로, 이동 전화(20')는 이동 전화(20')의 위치에 따른 장면(scene)을 디스플레이한다. 방문자가 각각의 그림을 보기 위해 이동할 때, 각각의 그림에 가장 가까운 단거리 송수신기가 가장 가까운 그림에 적합한 오버레이 장면을 전송한다.

방문자가 가까운 그림을 보는 그의 시선과 디스플레이된 오버레이 장면의 정렬 표시를 정렬하기 위해 이동 전화(20')를 위치시킨다. 오버레이 장면은 예를 들어 그림에 대한 주석과, 그림의 특히 관심이 집중되는 특징을 강조하는 것과 같은 주석을 포함할 수 있다. 이러한 주석의 일예가 도 2b에 포함되어 있다.

이제 도 10을 참조하면, 이동 전화(20")의 제 2 위치-감지 실시예가 예시되어 있다. 도 8의 실시예의 것과 동일한 도 10의 실시예의 구성요소는 다시 설명되지 않는다. 도 10의 실시예는 제 2 안테나(51)와 범용 지구 측위 시스템(GPS) 수신기(50)를 갖는다는 점에서 도 8의 실시예와 다르다. GPS 수신기(50)는 이동 전화(20")의 위치를 구하고 이 위치를 처리 수단(33)에 보고한다. 선택적인 방향 센서(9)에 의해 생성된 방향 표시는 처리 수단(33)에도 보고될 수 있다.

도 10의 실시예가 사용될 수 있는 시스템의 일례가 도 12에 예시되어 있다. 도 12를 참조하면, 도 10에 예시된 실시예를 갖는 이동 전화(20")가 예시되어 있다. 도 12에서 간단명료함을 위해, 이동 전화(20")의 구성요소는 안테나(31), GPS 수신기(50), 제 2 안테나(51)를 제외하고는 블록(52)으로 함께 그룹화되어 있다. 이동 전화(20")는 도 12에 안테나(54)와 블록(55)으로 도시된 휴대폰 네트워크를 통해 서버(56)와 통신한다.

이동 전화(20")는 그 위치 및 선택적으로, 방향을 원격 서버(56)에 보고한다. 서버(56)는 다수의 오버레이 장면을 담고 있는 저장 메모리(57)로부터 사용자의 위치 및 선택적으로 방향에 가장 근접하게 일치하는 장면을 선택한다. 선택된 오버레이 장면은 선택적으로 오버레이 장면과 사용자의 실제 장면을 보는 시선이 보다 잘 맞도록 사이즈가 변경되거나 또는 확대(또는 축소)되어 변경될 수 있다. 선택되고 변형된 오버레이 장면은 이동 전화(20")에 전송된다.

각각의 저장된 오버레이 장면은 이동 전화(20")의 위치에서의 실제 장면의 예정된 특징부에 대응하는 정렬 표시를 포함한다. 오버레이 장면은 제 2 송수신기(40)에 의해 수신되고, 이동 전화(20")의 디스플레이 스크린에 디스플레이된다. 이런 식으로, 이동 전화(20")는 이동 전화(20")의 위치 및 선택적으로 방향에 따른 장면을 디스플레이한다. 사용자는 디스플레이된 오버레이 장면의 정렬 표시가 실제 장면의 소정의 대응하는 부분을 보는 그의 시선과 정렬되도록 이동 전화(20")를 위치시킨다. 이러한 장면의 일례가 도 13a 내지 도 13c에 도시되어 있다. 도 13a는 풍경인 실제 장면이고, 도 13b는 정렬 표시(70)가 독특한 지붕 꼭대기에 대응하고 도 13b의 나머지는 관광객의 흥미를 끄는 곳의 이름의 주석을 포함하는 오버레이 장면이다. 도 13c는 도 13a의 실제 장면과 도 13b의 오버레이 장면을 포함하는 현실감이 향상된 장면을 도시한다.

몇몇 응용예에서, 위치 및 방향 표시가 충분히 정확하여 사용자가 이동 전화를 정렬할 필요없이 적절한 오버레이 장면을 선택할 수 있으면, 오버레이 장면은 정렬 표시를 포함할 필요가 없다.

본 명세서가 공개하는 것을 읽으면, 당업자는 다른 수정이 이루어질 수 있음이 명백하게 알 수 있을 것이다. 이러한 수정은 본원에서 이미 설명한 특징에 부가하여 또는 이를 대신하여 사용될 수 있는 현실감이 향상된 휴대용 전자 기기 및 이동 전화업계에 공지된 다른 특징을 포함할 수 있다.

현실감이 향상되게 볼 수 있는 시스템, 방법 및 장치가 제공된다.

Claims (22)

1. 현실감 향상 관측 장치 상에 디스플레이할 오버레이 장면(overlay scene)을 준비하는 방법에 있어서,

   실제 장면(real scene)의 예정된 부분에 대응하는 정렬 표시(alignment indicator)를 오버레이 장면에 포함되도록 생성하고, 사용시에 정렬 표시는 실제 장면의 예정된 부분에 정렬되는 것을 특징으로 하는 오버레이 장면 준비 방법.
2. 현실감이 향상된 장면을 형성하기 위해 실제 장면을 조합하는데 적합한 오버레이 장면에 있어서,

   실제 장면의 예정된 부분에 대응하는 정렬 표시를 오버레이 장면에 포함하고, 사용시에 정렬 표시는 실제 장면의 예정된 부분에 정렬되는 것을 특징으로 하는 오버레이 장면.
3. 실제 장면의 예정된 부분에 대응하는 정렬 표시를 갖는 오버레이 장면과 실제 장면을 보는데 적합한 현실감 향상 관측 장치를 구비한 휴대용 전자 장치에 있어서,

   현실감 향상 관측 장치는 디스플레이 스크린을 포함하며, 상기 휴대용 전자 장치는 디스플레이 스크린이 오버레이 장면을 디스플레이하는 제 1 모드와 디스플레이 스크린이 겹쳐지지 않은 장면을 디스플레이하는 제 2 모드를 갖는, 휴대용 전자 장치.
4. 제 3 항에 있어서,

   상기 관측 장치는 사용자가 실제 장면 상에 디스플레이 스크린에 표시된 오버레이 장면을 겹쳐서 볼 수 있는 제 1 위치와, 사용자가 실제 장면을 보지 않고 디스플레이 스크린만을 보는 제 2 위치로 배치될 수 있는 피벗식으로 장착된 반투명한 미러를 더 포함하는 휴대용 전자 장치.
5. 제 4 항에 있어서,

   반투명한 미러의 피벗 회전이 모터에 의해 구동되는 휴대용 전자 장치.
6. 제 4 항에 있어서,

   디스플레이 스크린은 피벗식으로 장착된 휴대용 전자 장치.
7. 제 6 항에 있어서,

   디스플레이 스크린의 피벗 회전은 모터에 의해 구동되는 휴대용 전자 장치.
8. 제 4 항에 있어서,

   제 1 모드는 반투명한 미러의 제 1 피벗 위치(pivotal position)에 반응하여 적용되고 제 2 모드는 반투명한 미러의 제 2 피벗 위치에 반응하여 적용되는 휴대용 전자 장치.
9. 제 6 항에 있어서,

   제 1 모드는 디스플레이 스크린의 제 1 피벗 위치에 반응하여 적용되고 제 2 모드는 디스플레이 스크린의 제 2 피벗 위치에 반응하여 적용되는 휴대용 전자 장치.
10. 제 3 항에 있어서,

    제 1 모드에서 디스플레이 스크린은 투명하고 실제 장면이 디스플레이 스크린을 통해 보여질 수 있고, 제 2 모드에서 실제 장면이 디스플레이 스크린을 통해 보여지지 않을 수 있는 휴대용 전자 장치.
11. 제 3 항 내지 제 10 항 중의 어느 한 항에 있어서,

    저장 수단과, 다수의 오버레이 장면 중의 어느 것이 디스플레이될지 선택하는 선택 수단을 포함하고, 상기 저장 수단은 다수의 오버레이 장면을 포함하고, 오버레이 장면은 각각 상이한 실제 장면에 대응하고 각각의 실제 장면의 예정된 부분에 대응하는 정렬 표시를 각각 포함하고, 상기 선택 수단은 휴대용 전자 장치의 위치 표시에 반응하는 휴대용 전자 장치.
12. 제 11 항에 있어서,

    위치를 측정하는 수단과, 위치 표시를 선택 수단에 공급하는 수단을 포함하는 휴대용 전자 장치.
13. 제 12 항에 있어서,

    방향 센서와, 방향 표시를 선택수단에 공급하는 수단을 포함하며, 상기 선택 수단은 방향 표시에 반응하는 휴대용 전자 장치.
14. 제 3 항 내지 제 10 항 중의 어느 한 항에 있어서,

    방향 표시를 생성하는 방향 감지 수단과, 위치 표시를 생성하는 위치 측정 수단과, 상이한 실제 장면에 각각 대응하는 다수의 오버레이 장면을 갖는 저장 수단과, 다수의 오버레이 장면 중의 어느 것을 디스플레이할지 선택하는 선택 수단을 포함하고, 상기 선택 수단은 휴대용 전자 장치의 위치 및 방향의 표시에 반응하는 휴대용 전자 장치.
15. 제 3 항 내지 제 10 항 중의 어느 한 항에 있어서,

    무선 링크를 통해 디스플레이할 오버레이 장면을 수신하는 수단을 더 포함하는 휴대용 전자 장치.
16. 제 15 항에 있어서,

    위치 측정 수단과, 무선 링크를 통해 위치 표시를 전송하는 수단을 더 포함하는 휴대용 전자 장치.
17. 제 16 항에 있어서,

    방향 센서와, 무선 링크를 통해 방향 표시를 전송하는 수단을 더 포함하는 휴대용 전자 장치.
18. 제 3 항에 있어서,

    방향 센서를 포함하고, 제 1 모드가 상기 장치의 제 1 방향에 반응하여 적용되고, 제 2 모드가 상기 장치의 제 2 방향에 반응하여 적용되는 휴대용 전자 장치.
19. 제 15 항의 휴대용 전자장치를 포함하는 현실감 향상 시스템에 있어서,

    공급 수단은 각각 상이한 실제 장면에 대응하며 각각의 실제 장면의 예정된 부분에 대응하는 정렬 표시를 각각 포함하는 다수의 오버레이 장면을 포함하는 저장 수단을 포함하고, 상기 공급 수단은 다수의 오버레이 장면 중의 어느 것이 휴대용 전자 장치에 디스플레이될지 선택하며 휴대용 전자 장치의 위치 표시에 반응하는 선택 수단과, 휴대용 전자 장치에 선택된 오버레이 장면을 전송하는 수단을 더 포함하는 현실감 향상 시스템.
20. 제 19 항에 있어서,

    상기 휴대용 전자 장치는 위치 측정 수단과, 공급 수단에 무선 링크를 통해위치 표시를 전송하는 수단을 더 포함하는 현실감 향상 시스템.
21. 제 20 항에 있어서,

    상기 휴대용 전자 장치는 방향 센서와, 공급 수단에 무선 링크를 통해 방향 표시를 전송하는 수단을 더 포함하고, 상기 선택 수단은 휴대용 전자 장치의 방향 표시에 반응하는 현실감 향상 시스템.
22. 제 17 항의 휴대용 전자장치를 포함하는 현실감 향상 시스템에 있어서,

    공급 수단은 각각 상이한 실제 장면에 대응하는 다수의 오버레이 장면을 포함하는 저장 수단을 포함하고, 상기 공급 수단은 다수의 오버레이 장면 중의 어느 것이 휴대용 전자 장치에 디스플레이될지 선택하며 휴대용 전자 장치의 위치 및 방향 표시에 반응하는 선택 수단과, 휴대용 전자 장치에 선택된 오버레이 장면을 전송하는 수단을 더 포함하는 현실감 향상 시스템.