KR20110133443A - 휴대용 장치에서 이미지 분석을 통한 화면 배향의 선택 - Google Patents

Abstract

휴대용 장치의 디스플레이 상에 보이는 화면의 배향을 설정하기 위한 방법들, 시스템들 및 컴퓨터 프로그램들이 제시된다. 일 실시예에서 이 방법은 디스플레이의 전방의 한 영역의 이미지를 포착하기 위한 동작을 포함한다. 또한, 사람 얼굴의 하나 이상의 특징들의 위치가 사람이 디스플레이의 전방의 한 영역에 위치해 있을 때 식별된다. 이 방법은 이 특징들의 위치에 기초하여 얼굴의 한 축을 결정하기 위한 다른 동작을 포함한다. 추가적으로, 상기 휴대용 장치의 디스플레이 상에 보이는 화면의 배향은 얼굴의 축에 대체적으로 일치하도록 설정된다.

Description

휴대용 장치에서 이미지 분석을 통한 화면 배향의 선택{Selecting View Orientation in Portable Device via Image Analysis}

우선권의 청구

본 출원은 “휴대용 장치에서 이미지 분석을 통한 화면 배향의 선택”이라는 제목으로 2010년 6월 4일자 출원된 미국가특허출원 제61/351,780호의 우선권을 청구한다. 이 가출원은 여기에 참고로 포함된다.

본 발명은 정보를 표시하기 위한 방법 및 시스템에 관한 것이며, 더 구체적으로, 휴대용 장치의 디스플레이 상에 보이는 화면의 배향을 설정하기 위한 방법들 및 시스템들에 관한 것이다.

꾸준하게 증가하는 휴대용 장치들의 다양성을 개선하기 위해 제조업자들은 휴대용 장치들에 보다 빠른 CPU, 보다 큰 디스플레이, 무선 옵션, 새로운 입력 방법들, 보다 오래 지속되는 배터리, 센서, 등과 같은 개선된 소자들을 탑재하고 있다. 이와 같은 다양성과 증가된 파워 덕분에 과거에는 대형 시스템들이나 퍼스널 컴퓨터들 또는 랩탑들에서만 실행될 수 있었던 더 많은 애플리케이션들 (applications)에서도 이러한 장치들을 사용하는 것이 가능하다.

통상의 휴대용 장치들은 하나 이상의 디스플레이들을 포함하며, 가장 큰 디스플레이가 직사각형이다. 오래된 모바일 폰일수록 폰 다이얼링, 콘택트 리스트 관리 또는 게임 놀이와 같은 제한된 수의 애플리케이션들만을 실행한다. 애플리케이션들은 폰을 잡는 자연스러운 방법에 대응하여 디스플레이의 특정한 배향으로 설계되었다. 예컨대, 디스플레이는 정보를 항상 인물 모드(portrait mode)로 표시하며 그 이유는 폰을 그 방식으로 잡을 것이라고 가정되었기 때문이다. 그러나, 휴대용 장치들에서 웹브라우저들(web browsers)과 이메일 클라이언트들(email clients)과 같은 새로운 애플리케이션들의 사용뿐만 아니라 독립된 공급자들로부터의 새로운 애플리케이션들의 폭주로 인해 휴대용 장치의 한 배향만으로는 많은 애플리케이션들을 적합하게 운영할 수 없다. 게다가, 사용자들이 웹페이지를 인물 모드 또는 경치 모드로 찾는 것과 같이 동일한 애플리케이션에서 상이한 화면들을 갖기를 원할 수 있다.

어떤 휴대용 장치들은 자이로스코프(gyroscope)와 가속도계 (accelerometer)들과 같은 관성 센서들을 갖고 있으므로 위치변동을 검출하는 것이 가능하다. 따라서 휴대용 장치들은 사용자가 휴대용 장치를 회전시키고 그에 따라 디스플레이 상의 화면이 바뀔 때를 검출한다. 이 검출은 관성적 (inertial) 또는 중력적 (gravitational) 측정들에 기초하기 때문에, 디스플레이의 위치변동의 검출은 많은 상황들에서 실패한다. 예컨대, 만일 휴대용 장치의 플레이어가 등을 대고 누워있을 경우, 또는 휴대용 장치가 테이블 위에 놓여 있을 경우, 관성 측정들은 디스플레이에서 그 화면에 대한 최선의 배향을 결정하기 위한 적절한 정보를 제공하지 못할 것이다.

이와 관련하여 본 발명의 실시예들이 도출된다.

본 발명의 실시예들은 휴대용 장치의 디스플레이 상에 보이는 화면의 배향을 설정하기 위한 방법들, 시스템들 및 컴퓨터 프로그램들을 제공한다. 휴대용 장치는 디스플레이와 카메라를 포함하는데 이들은 사용자와 마주한다. 따라서 사용자와 관련된 장치의 배향이 실시간으로 포착된 사용자 얼굴의 비디오 이미지로부터 결정될 수 있다. 카메라로부터의 비디오 이미지는 얼굴 인식 알고리즘을 사용하여 분석되며 그 장치에서 화면의 배향이 양 눈 사이에 형성되는 선, 눈에서 코까지의 선, 눈에서 입까지의 선, 코에서 입까지의 선, 등과 같은 플레이어의 특징들에 기초하여 결정될 수 있다.

본 발명은 프로세스, 장치, 시스템, 디바이스 또는 컴퓨터 독출가능 매체 상의 방법 등의 수많은 방법들로 구현될 수 있음을 이해해야 한다. 본 발명의 몇몇 실시예들이 아래에 기술된다.

일 실시예에서, 이 방법은 디스플레이의 전방에 있는 영역의 한 이미지를 포착하기 위한 동작을 포함한다. 또한 디스플레이의 전방 한 영역에 사람이 위치해 있을 때 그 사람 얼굴의 하나 이상의 특징들의 위치가 확인된다. 이 방법은 이 특징들의 위치에 기초하여 얼굴의 축을 결정하기 위한 다른 동작을 포함한다. 휴대용 장치의 디스플레이에 보이는 화면의 배향은 대체적으로 얼굴의 축에 일치하도록 설정된다.

다른 실시예들에서, 휴대용 장치는 디스플레이, 카메라 및 플레이어 위치결정기 모듈(player locator module)을 포함한다. 카메라는 디스플레이 전방의 항 영역의 이미지들을 포착한다. 사람이 디스플레이의 전방 한 영역에 위치해 있을 때 플레이어 위치결정기 모듈은 그 사람 얼굴의 특징들의 위치를 확인한다. 또한, 플레이어 위치 모듈은 특징들의 위치에 기초하여 얼굴의 축을 결정한다. 디스플레이에 보이는 화면의 배향은 그 화면의 배향이 얼굴의 축에 대체적으로 일치하도록 선택된다.

또 다른 실시예들에서, 컴퓨터 독출가능 저장매체에 내장된 컴퓨터 프로그램은, 하나 이상의 프로세서들에 의해 실행될 때, 휴대용 장치의 디스플레이 상에 보이는 화면의 배향을 설정한다. 컴퓨터 프로그램은 디스플레이의 전방에서의 한 영역의 이미지를 포착하기 위한 프로그램 명령들을 포함한다. 또한, 사람 얼굴의 하나 이상의 특징들의 위치는 사람이 디스플레이의 전방 한 영역에 위치해 있을 때 확인된다. 컴퓨터 프로그램은 또한 이러한 특징들의 위치에 기초하여 얼굴의 축을 결정한 다음, 얼굴 축에 대체적으로 일치하도록 휴대용 장치의 디스플레이에 그 화면의 배향을 설정하기 위한 프로그램 명령들을 포함한다.

본 발명의 기타 양상들은 본 발명의 원리를 실시예들에 의해 나타내는 첨부된 도면들과 관련된 다음의 상세한 설명으로부터 명백해 질 것이다.

본 발명에 따르면, 사용자와 관련된 장치의 배향이 실시간으로 포착된 사용자 얼굴의 비디오 이미지로부터 결정될 수 있다.

본 발명은 첨부된 도면들을 참조한 다음 설명에 의해 잘 이해될 수 있다.
도 1은 일 실시예에 따라 누워서 휴대용 장치를 사용하는 플레이어를 나타내는 도면이다.
도 2는 일 실시예에 따라 테이블에 놓여있는 휴대용 장치를 조작하는 플레이어를 나타내는 도면이다.
도 3A는 일 실시예에 따라 휴대용 장치를 잡고 등을 바닥에 거의 평행하게 대고 있는 플레이어를 나타내는 도면이다.
도 3B는 일 실시예에 따라 휴대용 장치가 바닥에 거의 평행할 때 그 휴대용 장치의 위치를 변경한 효과를 나타내는 도면이다.
도 4는 일 실시예에 따라 플레이어의 위치에 기초하여 화면의 배향을 선택하는 프로세스를 나타내는 도면이다.
도 5A-5B는 일 실시예에 따라 플레이어가 휴대용 장치의 위치를 바꿀 때 화면의 배향을 어떻게 조정하는 지를 나타내는 도면이다.
도 6은 일 실시예에 따라 플레이어의 얼굴 특징에 기초한 화면 배향의 선택을 나타내는 도면이다.
도 7은 일 실시예에 따라 제2 위치에 기초한 화면 배향의 선택을 나타내는 도면이다.
도 8은 일 실시예에 따라 다른 얼굴의 특징들의 검출을 나타내는 도면이다.
도 9는 일 실시예들에 따라 플레이어의 얼굴 윤곽을 검출하기 위한 실시예를 나타내는 도면이다.
도 10은 일 실시예에 따라 플레이어의 두 눈을 검출하기 위해 적외선 광과 적외선 센서를 사용하는 프로세스를 나타내는 도면이다.
도 11은 일 실시예에 따라 플레이어의 안경의 검출을 나타내는 도면이다.
도 12는 일 실시예에 따라 플레이어가 착용한 헤드셋의 검출을 나타내는 도면이다.
도 13은 일 실시예에 따라 플레이어가 배를 대고 누워있을 때의 화면 선택을 나타내는 도면이다.
도 14A-14B는 일 실시예에 따라 디스플레이와 얼굴-대면 카메라를 갖는 자립형 장치에서의 화면 선택을 나타내는 도면이다.
도 15A-15B는 일 실시예에 따라 휴대용 장치를 들고있는 운전자를 위한 화면 선택을 나타내는 도면이다.
도 16A-16B는 일 실시예에 따라 화면이 플레이어의 얼굴에 대해 고정된 휴대용 장치를 나타내는 도면이다.
도 17은 일 실시예에 따라 휴대용 장치의 디스플레이 상에 보이는 화면의 배향을 설정하기 위한 프로세스 흐름을 나타내는 도면이다.
도 18은 본 발명의 실시예들를 구현하기 위해 사용될 수 있는 장치의 구조를 나타내는 도면이다.

아래의 실시예들은 휴대용 장치의 디스플레이 상에 보이는 화면의 배향을 설정하기 위한 방법 및 장치를 설명한다. 본 발명의 실시예들은 휴대용 장치의 사용자와 대면하는 휴대용 장치의 카메라로 찍은 비디오 이미지를 분석한다. 얼굴, 머리 또는 머리 주변 영역의 하나 이상의 특징들을 검출하여 플레이어의 위치 (또는 플레이어의 얼굴)를 결정하고, 그 플레이어의 위치 또는 얼굴과 가장 일치하는 휴대용 장치의 스크린 상에서의 화면의 배향을 결정한다. 추가적으로, 그 프로세스들은 휴대용 장치에 통합되는 하드웨어, 휴대용 장치의 프로세서에서 실행되는 컴퓨터실행 방법들로 구현되거나, 특수하게 프로그램된 하드웨어에서 실행될 수 있다. 예컨대, 그 동작들은 특정 애플리케이션용 칩 상에 부호화된 로직 (logic)으로서 한정될 수 있거나, 일부 동작들은 칩 상에서 처리되고, 기타 동작들은 휴대용 장치의 범용 프로세서 상에서 처리될 수 있다.

그러나 본 발명은 구체적인 상세한 사항들의 일부 또는 전체가 없이도 실시될 수 있음을 본 분야의 숙련자에게 명백할 것이다. 다른 경우들에 있어서, 공지된 프로세스 동작들은 본 발명을 불필요하게 모호하지 않게 하기 위해 상세히 설명되지 않는다.

도 1은 일 실시예에 따라 누워있는 동안 휴대용 장치 (104)를 사용하는 플레이어 (102)를 나타낸다. 휴대용 장치(104)는 컨텐츠(content)를 인물 또는 경치 모드로 표시할 수 있다. 휴대용 장치(104)는 알고리즘을 사용하여, 사용자를 위한 컨텐츠를 표시하기 가장 좋은 또는 최적의 방법을 결정한다. 만일 휴대용 장치 (104)가 그 알고리즘을 관성 또는 중력 측정에 기초할 경우, 알고리즘은 몇몇 시나리오에서 실패할 것이다. 통상적으로, 알고리즘은 사용자가 서있거나 앉아있는 동안 휴대용 장치를 잡고 있다고 가정한다.

만일 사용자가 서서 사용자의 손에 휴대용 장치의 측면을 잡고 있을 경우, 휴대용 장치는 컨텐츠가 경치 모드 형식으로 표시되어야 함을 정확히 결정한다. 그러나 만일 사용자가 도 1에 보인 바와 같이 누워서 휴대용 장치를 여전히 동일한 방식으로 잡고 있을 경우, 휴대용 장치는 컨텐츠를 인물 모드형식으로 부정확하게 표시할 수도 있다. 이러한 문제는 휴대용 장치가 이동 센서들을 사용하여 휴대용 장치에 관련된 중력의 방향을 결정할 때 일어난다. 이러한 휴대용 장치는 컨텐츠의 배향을 사용자에 관련하여 조정하지 않고, 중력에 관련하여 조정한다.

또한, 이러한 휴대용 장치들은 반대의 효과를 겪을 수 있다. 그들은 종종 그들이 중력에 관련하여 정확하게 틸팅(tilt)되지 않을 경우, 인물 모드로 전환되지 않는다. 본 발명의 실시예들은 사용자의 눈이나 얼굴의 위치를 검출하여 최적의 방법을 결정하여 정보를 표시할 수 있다.

비록 본 발명의 실시예들이 휴대용 게임장치와 같은 어떤 휴대용 장치들에 대하여 기술하고 있지만, 본 발명의 원리들은 게임 컨트롤러, 휴대용 게임장치, 셀 폰 (cell phone), 카메라, 태블릿 (tablet), 랩톱, 개인용 휴대정보 단말기 (PDA), 휴대용 뮤직 플레이어, 휴대용 비디오 플레이어, 리모트 컨트롤, 디지털 포토 프레임, 캠코더, 휴대용 텔레비젼, 글로벌 위치결정 시스템 (GPS)장치 등과 같은 어떤 타입의 장치와도 사용될 수 있다는 것을 주목해야 된다.

도 2는 일 실시예들에 따라 테이블에 놓여있는 휴대용 장치 (204)와 상호작용하는 플레이어 (202)를 나타낸다. 만일 휴대용 장치 (204)가 중력에 대한 관계를 체크하면, 테이블 상의 휴대용 장치의 어떠한 위치라도 동일한 중력에 대한 관계를 측정할 것이다. 만일 휴대용 장치가 테이블 상에서 회전될 경우, 휴대용 장치는 화면의 배향을 절대 변경하지 않을 것이며 그 이유는 중력에 대한 관계가 변동하지 않아서, 휴대용 장치가 그의 디스플레이에서 화면의 배향을 전환할 수 없기 때문일 것이다.

설명을 위해, 휴대용 장치가 디스플레이 상에 한 화면을 4가지 상이한 모드 중 하나로 나타낼 수 있다고 가정한다. 만일 디스플레이의 임의의 측면을 북쪽 측면으로 할당하고, 나머지 3 측면을 동쪽, 남쪽 및 서쪽으로 할당하면, 휴대용 장치는 디스플레이에서 화면의 상측이 북쪽, 남쪽, 동쪽 또는 서쪽 중 하나에 상응하는 식으로 디스플레이 상에 화면을 나타낼 수 있다. 이는 두 모드가 인물 모드에 있게 됨을 의미하며, 하나가 다른 하나로부터 180도 돌려있으면, 두 모드가 경치 모드에 있게됨을 의미한다. 일부 장치들은 단 두가지 모드 즉, 인물과 경치 모드만 가질 수 있으며, 또는 일측이 화면의 상측, 등으로 사용될 수 없는 3가지 모드를 가질 수 있다. 추가적으로, 다른 장치들은 더 많은 프레젠테이션 (presentation) 모드를 가질 수 있다. 예컨대, 화면들은 90도 대신 45도 떨어질 수 있고, 또한 8개의 상이한 모드들을 가질 수 있다. 게다가, 한 장치는 경관(scene)을 디스플레이의 위치와 무관하게 어떤 배향으로 표시할 수 있으며, 플레이어의 위치에 전적으로 배향을 기초할 수 있다. 다르게 언급되지 않는 한, 본 발명의 원리들은 화면의 배향을 선택하기 위한 4가지 가능성들을 구비한 장치를 참조하여 아래에 설명되지만, 본 발명의 원리들은 어떤 수의 잠재적인 표시 배향들을 구비한 어떤 장치에도 적용될 수 있다.

도 3A는 일 실시예들에 따라 뒤가 바닥에 거의 평행한 휴대용 장치를 들고 있는 플레이어를 나타낸다. 3A와 3B는 사용자가 바닥에 거의 평행한 휴대용 장치 (302)를 잡고 있을 때, 즉, 디스플레이 (304)의 표면이 바닥에 거의 평행할 때, 화면의 배향을 정확하게 설정하는 문제점을 나타낸다. 도 3B에서, 디스플레이 (304)는 챠트를 경치 모드로 나타낸다. 도 3B는 일 실시예들에 따라 휴대용 장치가 바닥에 거의 평행할 때 장치의 위치를 변경한 효과를 나타낸다. 도 3B에서 사용자는 화면을 인물 모드로 전환할 것을 기대하면서 휴대용 장치 (302)를 90도 돌렸다. 그러나 휴대용 장치가 바닥에 거의 평행하기 때문에 휴대용 장치 (302) 내의 중력 센서들이 그 위치 변경을 검출하지 못하며 그 이유는 그 휴대용 장치는 중력에 대해서는 위치를 거의 변경하지 않았기 때문이다. 결과적으로, 디스플레이 (304)는 여전히 인물 모드 대신 경치 모드를 그대로 유지한다. 사용자가 그 장치의 움직임에 더욱 익숙해짐으로써, 사용자는 배향의 변동을 야기하기 위해 휴대용 장치를 수직위치로 기울이는 것을 학습한다. 때때로 사용자는 휴대용 장치를 수직위치로 기울인 다음 신속히 수평위치로 되돌리기도 한다. 이 때 휴대용 장치는 화면의 배향을 변동시키지 않는다. 이러한 전후로의 기울임은 사용자에게 성가신 일이 되므로 다목적 휴대용 장치를 가진 사용자의 경험은 불만족스럽게 된다.

추가적으로, 모바일 폰과 같은 휴대용 장치들을 위한 많은 게임들은 명령들을 입력하기 위해 틸팅을 사용한다. 예컨대 자동차의 구동이 휴대용 장치를 일측에서 위 또는 아래로 틸팅함으로서 이루어진다. 이러한 장치들은 플레이어가 똑바로 있는 것을 요구하며 그 이유는 중립위치가 하드코드화 (hardcoded)되기 때문이다. 본 발명의 실시예들은 플레이어의 얼굴의 특징들을 검출하는 것에 의해, 휴대용 장치가 중립위치를 어느 위치에 설정하는 것을 허용한다. 게임들은 플레이어의 얼굴에 대한 상대적인 위치에 기준하여 디스플레이에서 화면의 배향을 설정할 수 있다. 중력은 이 게임들을 외부 공간에서 할 수 있게 만드는 요인이 아니다.

도 4는 일 실시예들에 따라 플레이어의 위치에 기준하여 화면의 배향을 선택하는 프로세스를 나타낸다. 휴대용 장치(406)는 디스플레이(414)와 사용자에 대면하는 비디오 가능 카메라(408)를 포함한다. 카메라(408)로부터의 비디오 이미지 상에서의 안면 인식 소프트웨어는 얼굴의 배향을 결정하기 위해 사용될 수 있는 하나 이상의 특징들을 얼굴에서 검출할 수 있다. 일반적으로 안면 인식 시스템은 디지털 이미지 또는 비디오 소오스로부터의 비디오 프레임으로부터 사람의 머리 위치를 자동으로 식별 또는 검증하기 위한 컴퓨터 애플리케이션, 하드웨어 또는 하드웨어와 소프트웨어의 조합으로 정의될 수 있다. 일 실시예는 이미지로부터의 선택된 얼굴 특징들을 얼굴 데이터베이스와 비교한다. 데이터 베이스는 구체적인 얼굴 특징들의 식별을 허용하는 한편, 특징들의 예상된 배치에서의 변화들을 허용하는 로직에 결합될 수 있다. 예컨대, 어떤 사람은 더 많이 떨어진 양 눈을 가지며, 사용자의 나이도 또한 데이터 베이스와 연결할 때 허용공차들에 영향을 줄 수 있다. 또 다른 실시예들에서, 얼굴 인식 알고리즘들은 대상자 얼굴의 이미지로부터 랜드마크(landmark) 또는 특징들을 추출하는 것에 의해 얼굴들을 식별한다. 예컨대, 알고리즘은 눈, 코, 광대뼈, 턱 등의 상대위치, 사이즈 또는 형상을 분석할 수 있다. 그 다음 이러한 특징들을 사용하여 일치하는 특징들을 갖는 다른 이미지들을 탐색하거나 또는 특정한 사람의 특징들이 나타날 확율을 계산한 다음, 그들의 위치를 계산한다. 또 다른 실시예들에서 알고리즘을 사용하여 얼굴 이미지들의 갤러리(gallery)를 표준화하고 또한 얼굴 데이터를 압축하여, 얼굴 검출을 위해 유용한 이미지의 데이터만을 저장해둔다. 이에 의해 신속하게 색인하고 탐색할 수 있는 얼굴 메타데이터를 제공한다. 탐색 이미지는 또한 얼굴 데이터와 비교될 수 있다.

일 실시예에 의하면, 얼굴 인식 이외에, 사용자의 머리 위나 주변의 물체들을 사용하여 배향을 검출할 수도 있다. 예컨대, 안경, 모자, 이어버드 (earbud), 헤드 폰, 셔츠깃, 목걸이, 머리핀, 등을 사용하며 이들에 한정되지 않는다. 특징들 단독 또는 얼굴 특징들과 결합된 이러한 특징들을 사용하여 휴대용 장치의 스크린에 관련된 배향 및/또는 위치를 검출할 수 있다.

여기서 사용되는 얼굴 인식이 눈, 코, 입, 등과 같은 플레이어의 얼굴에 있는 특징들의 검출을 지칭한다는 것을 주목해야 한다. 또 다른 실시예들에서, 화면의 배향을 설정하기 위해서는 특정한 사용자를 실제적으로 '인식'할 필요가 없다. 그러나, 다른 실시예들이 또한 각 사용자가 휴대용 장치의 사용을 위한 선호와 기타 제어들을 정하도록 허용하기 위해 사용자 인식을 제공할 수도 있다. 그러므로 제시된 실시예들은 배타적이거나 한정되는 것으로 해석되지 않고 오히려 예시적이거나 설명을 위한 것으로 해석되어야 한다.

검출된 특징들은 눈, 코, 입, 귀, 얼굴 윤곽, 안경 중 하나 이상을 포함할 수 있다. 얼굴의 배향은 두 눈, 눈과 코, 코와 입, 눈과 입, 두 귀, 등을 연결하는 선들과 같은 이들 특징들의 일부를 연결하는 선에 근거하여 결정될 수 있다.

선 (404)은 사용자 (402)의 양 눈을 연결한다. 비디오 카메라 (408)는 플레이어 (402)의 이미지들을 포착하여 디스플레이 (414)에 표시한다. 플레이어 (402)가 손에 휴대용 장치 (406)를 쥐고 있다는 것을 주목해야 된다. 플레이어 (402)의 이미지는 프레젠테이션의 목적만을 위해 휴대용 장치 (406)의 옆에 나타낸다. 추가적으로, 플레이어 (412)의 포착된 이미지는 디스플레이 (414) 상에 보이지만, 본 발명의 다른 실시예들은 디스플레이 상에 플레이어를 나타내지 않고, 배경에서 얼굴 인식 분석을 수행하며, 그동안 다른 애플리케이션이 디스플레이 (414)에 나타난 것을 결정한다.

장치 (406)는 플레이어의 양 눈을 검출하여 플레이어의 양 눈을 연결하는 선 (404)을 생성한다. 선 (410)은 플레이어의 양 눈을 연결하는 실제의 선 (404)에 평행하거나 또는 거의 평행하다. 휴대용 장치는 선 (410)이 디스플레이 상의 가설 수평선에 평행한지를 결정하며, 그러므로 화면의 배향은 경치 모드로 정확하다.

설명을 위해, 디스플레이에 보이는 화면에서의 수평선은 화면이 사용자의 위치에 관련된 프로그램에 의해 의도된 것으로 보여질 때, 디스플레이의 상부 및 하부선들에 평행한 선으로 칭한다. 디스플레이의 상측은 수평선 위이고, 디스플레이의 하측은 수평선의 아래이다. 많은 경우에, 화면의 수평선은 디스플레이에 나타낸 것의 수평선에 일치할 수 있다. 예컨대 만일 사용자가 자연 경관을 보고 있고 또한 그 경관을 찍고 있는 카메라가 바닥에 평행하게 설정되었다면, 그 화면의 수평은 경관의 수평과 일치할 것이다. 그러나, 만일 카메라가 자연경관을 45도로 찍었다면, 그 화면의 실제 수평은 그 경관의 수평과 일치하지 않을 것이다. 설명의 목적으로 그 화면의 수평이 디스플레이 상의 배향이라고 정의한다. 수평선은 또한 수평 위에 있는 것과 아래에 있는 것에 관한 정보를 전달하고 있을 것이라는 것을 주목해야 한다. 이러한 방식으로, 화면의 배향은 정확한 수평선을 가질 수 있지만, 뒤집힐 수 있으며 그 화면의 배향을 디스플레이에 부정확하게 보이게 할 수도 있다.

얼굴 인식은 상이한 주기로 수행될 수 있다. 예컨대, 얼굴 인식은 각 비디오 프레임마다, 10 프레임마다, 매초마다, 등으로 수행될 수 있다. 얼굴 인식 분석의 빈도는 요구된 처리량과 장치의 응답성에 따라 다르다. 더 많은 빈도의 분석을 수행 할수록 더 많은 양의 연산자원들이 요구될 것이며, 장치가 위치를 변동할 때, 화면의 배향의 요구되는 변동을 더 빠르게 검출할 것이다. 일 실시예에서, 화면의 배향에서 변경을 요구하는 프레임이 여러 개 검출되지 않는 한 화면의 배향은 변경되지 않는다. 이는 사용자가 게임을 즐기고 있을 때 화면을 바꾸는 문제점을 회피하며 종전의 위치로 되돌아가기 전에 휴대용 장치를 신속히 이동시키며 이는 플레이어가 휴대용 장치의 배향을 변경할 의도가 없었음을 의미한다. 다른 실시예들에서, 얼굴 인식 빈도는 휴대용 장치가 배향의 변경이 필요함을 검출할 때 증가된다. 이에 의해 긍정 오류의 검출을 회피하는데 도움이 된다.

도 5A-5B는 일 실시예에 따라 플레이어들이 휴대용 장치의 위치를 변경할 때, 화면배향이 어떻게 조정되는지를 나타낸다. 도 5A에서, 카메라(506)는 카메라 전방의 플레이어의 얼굴을 포함하는 영역의 비디오 이미지들을 찍는다. 휴대용 장치(502)는 똑바로 선 위치에 유지된다. 휴대용 장치(502)에서 얼굴 인식 알고리즘은 카메라(506)로부터의 비디오 이미지들을 분석하여 플레이어의 양 눈의 위치를 검출함으로써 휴대용 장치(502)가 화면(504)을 인물 모드로 보여지게 한다.

플레이어가 휴대용 장치를 90도 회전시키면, 이미지 분석은 그 장치에 관련하여 양 눈의 위치가 변경된 것을 검출하고, 그 다음 화면이 장치의 회전에 응답하도록 90도 회전될 것이다. 설사 장치(504)가 바닥에 거의 평행하게 유지되더라도 화면(504)은 도 5B에서 경치 모드로 표시되며 그 이유는 알고리즘이 중력측정에 의존하지 않기 때문이다.

여기 주목해야 되는 것은 플레이어가 장치를 다른 사람을 향하게 할 경우, 화면의 배향이 또한 조정될 수 있다는 것이다. 예컨대, 만일 사용자가 화상들을 보고 있고 한 화상을 다른 사람에게 보여주고 싶을 경우, 플레이어가 그 장치를 다른 사람을 향하게 할 수 있다. 얼굴 검출 알고리즘은 다른 사람의 얼굴을 검출할 것이며, 그에 따라 이미지를 표시할 것이다.

도 6은 일 실시예에 따라 플레이어의 안면 특징들에 기초하여 화면의 배향을 선택하는 것을 나타낸다. 사용자에 관련된 장치(604)의 각도는 안면의 특징 선들 중 하나와 비디오 이미지의 축을 따라 이어진 가상선 간의 각도로서 대충 산출될 수 있다. 장치 상의 컨텐츠의 배향은 이 산출된 각도에 가장 가까운 직각을 찾아냄으로써 선택될 수 있다. 또한, 배향은 화면의 수평에 가장 근접한 각도를 선택함으로써 선택될 수 있다. 이 후자의 접근방법이 아래에 설명되지만, 본 발명의 원리는 화면의 수직 축에나 사용자의 얼굴의 상이한 축들에도 적용될 수 있다.

플레이어(612)의 이미지를 분석한 후, 휴대용 장치는 눈과 입을 교차선으로 나타낸 아이콘 심볼(620)에 표현된 플레이어의 눈과 입을 검출하였다. 선 (616)은 눈들을 함께 연결하여 형성된다. 선(616)은 이미지 평면을 두 개의 절반 평면들로 분할하며, 입의 위치를 사용하여 어느 절반 평면이 눈 위에 머리부분을 포함하는지 그리고 어느 절반 평면이 입을 가지고 있는지를 판단한다. 선(616)의 양의 방향은 여기서 플레이어의 우측 눈(화상의 좌측에 나타나는 눈)으로부터 좌측 눈(화상의 우측에 나타나는 눈)까지 진행하는 방향을 말한다. 또 다른 실시예들에서, 플레이어가 서 있는 것을 가정함으로써 입이 검출되지 않고 중력을 사용하여 어느 쪽이 위인지 또는 아래인지를 결정한다.

이 방법은 선(616)과 디스플레이의 축들에 평행한 선들 간의 각도들을 산출하여 얼굴과 디스플레이의 상대 위치를 결정하고, 디스플레이(604)에서 화면(606)을 위한 최적의 배향을 선택한다. 디스플레이(604)는 축들(608, 610)을 가지며, 이들은 제각기 선들(618, 614)과 평행하다. 4개의 배향들이 디스플레이(604)의 화면에 대해 4개의 배향들이 가능하기 때문에, 4개의 각도가 산출되며 각각의 각도는 양 눈을 가능성 있는 화면 수평과 연결하는 선이 얼마나 멀리 떨어져 있는지를 나타낸다. 따라서 각도(α1-α4)는 선 (616)의 양의 부분으로부터 선들(618, 614)의 양과 음의 방향까지 계산된다.

도 6의 실시예들에서, α4 는 α1-α4 중에서 최소의 각도이다. 결과적으로, 선 (614)이 화면 (606)에 대한 수평으로서 선택되며, 선 (614)의 양의 방향은 α4 와 관련된 방향에 일치하며, 이는 뒤집지 않고 올바른 방향으로 화면의 배향을 설정하는 것을 가능하게 한다. 축(610)이 선(614)과 평행하기 때문에, 축(610)이 화면의 배향을 위한 수평으로서 선택된다.

이 프로세스를 실시간으로 실행함으로써 휴대용 장치는 사용자에게 표시되는 컨텐츠의 정확한 배향을 항상 유지할 수 있다. 이미지 인식에 기초하여 화면의 배향을 설정하는 것은 동작 센서들 (자이로스코프, 가속도계들)을 이용하는 기존의 시스템들에 비해 더 견고한 시스템을 제공한다.

일 실시예에서, 보간법(interpolation)을 사용하여 안면 특징들을 더 잘 결정할 수 있다. 몇몇의 이미지들로부터의 정보는 몇몇의 이미지들로부터의 이미지 데이터를 사용함으로써 얼굴 인식을 개선하기 위해 상호 관련된다. 이에 의해 얼굴 인식이 개선되며, 특히 낮은 광량 또는 후광 환경과 같은 어려운 상황들에서 개선된다.

도 7은 일 실시예에 따라 제2 위치에 기초하여 화면의 배향을 선택하는 것을 나타낸다. 플레이어의 양 눈을 연결하는 선(616)은 선(618)에 가장 근접하며 그 이유는 각(α4)가 모든 각도들(α1-α4) 중에서 가장 작기 때문이다. 그러므로, 화면(606)의 배향은 선(618)에 평행한 디스플레이의 세로 축(608)이 화면에 대해 수평이 되도록 설정되며, 수평 위의 절반 평면은 플레이어의 이마가 위치되는 절반 평면에 해당한다. 다시 말하면, 좌에서 우측으로 진행하는 방향으로 정의된 수평의 양의 방향은 선(616)의 양의 방향과 최소의 α각도를 형성한다.

도 6과 도 7에 나타낸 실시예들이 플레이어의 얼굴의 특정한 특징들과 디스플레이의 위치에 기초한 화면 배향의 예시적인 산출이라는 것을 인식해야 한다. 다른 실시예들은 다른 특징들을 사용할 수도 있거나 상이한 각도들을 산출할 수도 있으나, 여전히 몇몇의 계산을 수행할 수 있다. 예컨대, 얼굴의 특징들은 양 눈을 연결하는 선, 코와 입에 연결하는 선, 양 눈에서 입까지의 선, 등에 의해 정의될 수도 있다. 디스플레이의 위치는 길이 방향의 축, 세로의 축, 디스플레이의 상부 좌측 코너에서 디스플레이의 하부 우측 코너까지의 대각선, 디스플레이의 어느 측면, 장치의 어느 측면, 등에 관하여 비교될 수도 있다. 몇몇의 경우에는, 가장 가까운 각도가 상술한 바와 같이 일정 기준선에 대하여 탐색되는 한편, 다른 경우들에서는, 상이한 각도가 수직 축에 비교할 때 90도, 또는 눈에서 입까지의 선을 사용할 때 30도, 등과 같은 바람직한 각도이다. 그러므로, 도 6과 도 7에 나타낸 실시예들은 배타적이거나 한정적인 것으로 해석되지 않고 오히려 예시적이거나 설명적인 것으로 해석되어야 한다.

도 8은 일 실시예에 따라 또 다른 안면 특징들의 검출을 나타낸다. 도 8에서, 휴대용 장치는 사용자의 눈과 입을 검출한다. 화면의 배향을 결정하기 위해 양 눈과 각 눈을 입과 연결하는 선들을 생성한다. 그 다음에 이 선들이 휴대용 장치 내의 플레이어 위치결정 모듈에 의해 사용되어 플레이어의 위치를 결정한 다음, 도 6과 도 7을 참조하여 앞에서 설명한 바와 같은 디스플레이에 대하여 가장 적합한 배향을 선택한다. 도 6과 도 7에서, 플레이어의 양 눈을 참조하여 단 한 번의 계산을 수행하였다. 일 실시예에서, 배향을 선택하기 위해 두 번 이상의 계산을 수행한다. 예컨대, 한 번의 계산은 우측 눈과 입을 연결하는 선을 참조하여 수행될 수 있으며, 또 다른 한 번의 계산은 좌측 눈과 입을 연결하는 선을 참조하여 수행될 수 있다. 그 다음에 두 계산에 대한 결과를 평가 (결과들을 평균하는 것과 같이)하여 최적의 배향을 선택한다.

또 다른 실시예들에서, 양 눈과 코가 검출된다. 양 눈을 연결하는 제1 선을 계산한 다음, 제1 선에 수직하며 코를 통과하는 제2 선을 계산한다. 도 6과 도 7을 참조하여 설명되는 알고리즘과 유사한 알고리즘을 사용하여 화면의 배향을 산출한다.

도 9는 일 실시예에 따라 플레이어의 얼굴 윤곽을 검출하기 위한 실시예들를 나타낸다. 얼굴 인식 알고리즘은 플레이어의 얼굴의 위치를 결정하기 위해 이미지를 분석한다. 얼굴의 윤곽이 결정된 다음, 얼굴의 위치를 추정하는 기하학적 그림이 정의된다. 일 실시예에서, 얼굴 윤곽은 그 윤곽과 근사하게 매칭하는 타원형이 할당된다. 그 다음 타원형의 대칭의 장 축과 단 축들을 사용하여 배향을 선택한다. 예컨대, 단 축은 양 눈을 연결하는 선에 평행해야 하며, 도 6을 참조하여 설명된 동일한 방법이 사용된다. 타원형의 대칭의 장 축을 대신 사용할 수 있으며 또한 유사한 기하학적인 방법을 사용하여 배향을 결정할 수 있다. 또 다른 실시예들에서, 얼굴의 윤곽을 추정하기 위해 타원이 사용된다.

얼굴의 윤곽을 대신하여 머리의 윤곽도 또한 사용될 수 있다. 단발머리를 갖는 사용자들에서, 얼굴의 윤곽과 머리의 윤곽은 유사하지만, 사용자가 도 9에서와 같이 긴 머리를 가질 때, 얼굴 윤곽이 아주 다를 수 있다. 또 다른 실시예들에서, 얼굴의 윤곽은 양 눈, 코, 입, 등과 같이 얼굴의 다른 특징들에 대한 다른 정보와 조합되거나, 정밀성을 개선하기 위해 머리의 윤곽과 조합된다. 또한, 배향 알고리즘은 조명 조건들에 따라 변할 수도 있다. 예컨대, 플레이어 뒤에 후광을 갖는 상황에서 얼굴의 윤곽 또는 기타 얼굴 특징들보다 머리의 윤곽을 더 쉽게 검출할 것이다. 이러한 경우에, 적어도 조명 조건이 개선될 때까지 얼굴 윤곽을 사용하여 배향을 선택할 수 있다.

도 10은 일 실시예에 따라 플레이어의 양 눈을 검출하기 위해 적외선 광과 적외선 센서들을 사용하는 프로세스를 나타낸다. 휴대용 장치는 적외선 광 방출기와 양 눈으로부터의 반사(1002)를 검출하는 적외선 센서를 포함한다. 그 다음 이들 두 개의 점들을 사용하여 전술한 방법들과 유사한 양식으로 배향을 산출한다.

양 눈의 반짝이는 표면은 센서에 의해 검출하기 위한 적외선 광을 반사시킨다. 마찬가지로, 사용자의 안경들도 적외선 광을 반사시키지만, 그 광은 각 눈마다 단 하나의 점으로서 반사되지 않고, 오히려 원형이나 유사한 기하학적 형태로서 반사될 것이다.

또 다른 실시예들에서, 다른 타입의 광이 적외선 광을 대신하여 사용될 수 있다. 예컨대, 광은 휴대용 장치 상의 LED들로부터, 또는 디스플레이에 의해 방출된 광으로부터, 또는 플래쉬 타입의 광에 의해 생성될 수 있다. 얼굴의 인식이 디스플레이로부터 반사에 기초할 때, 만일 디스플레이 상의 화면이 어두워지면, 배향 알고리즘은 일시적으로 중단되어 사용자의 양 눈이나 안경으로부터 반사될 수 있는 광의 부족을 야기할 수도 있다.

도 11은 일 실시예에 따른 플레이어의 안경 검출을 나타낸다. 사용자가 안경 (152)을 착용했을 때, 양 눈을 검출하기 어려울 수 있으며, 안경이 착색되어 있는 경우, 불가능할 수도 있다. 이 경우에, 휴대용 장치는 안경의 기하학적 형태를 검출하고, 이 기하학적 형태를 사용하여 사용자 얼굴의 배향을 계산한다. 대부분의 경우에, 안경의 안경 표면이 검출될 수 있으며 직사각형 형상이 연산 목적을 위해 각각의 안경에 기여할 수 있다. 안경이 플레이어의 얼굴에 똑바로 착용되고 있다고 가정하면, 직사각형의 중심을 연결하는 선은 선이 화면의 배향을 결정하기 위해 사용될 수 있는 양 눈을 연결하는 선에 대체적으로 평행할 것이며, 전술한 동일 절차를 따른다. 다른 실시예들에서, 다른 기하학적 도형들이 원, 타원형, 긴 타원형, 사각형, 등과 같은 안경 표면을 추정하기 위해 사용될 수 있다.

머리카락이 안경의 일부를 덮고 있는 경우를 주목해야 한다. 이 경우에, 알고리즘은 볼 수 있는 안경의 표면에 기초하여 안경의 위치를 추정할 것이다. 예컨대, 만일 우측 안경이 완전히 가시 가능하고 좌측 안경이 머리카락으로 덮인 경우, 알고리즘은 우측 안경의 형상을 검출한 다음, 이 형상을 사용하여 볼 수 없는 부분을 포함하여 좌측 안경의 위치를 결정한다. 일반적으로, 각 안경의 하부 부분은 덮이지 않으며, 알고리즘은 검출된 표면의 하부 경계를 기초로 하여 안경의 위치를 설정할 수 있다.

도 12는 일 실시예에 따라 플레이어에 의해 착용된 헤드셋의 검출을 나타낸다. 일 실시예에서, 이미지 분석은 헤드셋(164)의 검출을 가능하게 한다. 귀를 덮고 있는 헤드셋의 좌측(164)과 우측(166)의 측면들을 연결하는 선을 형성한다. 그 다음 이 선을 사용하여 플레이어의 머리 위치를 판단한다. 일 실시예에서, 헤드셋의 위치는 사용자 위치의 검출가능성을 개선하기 위해 다른 안면 특징들과 조합된다.

다른 실시예들에서, 헤드셋은 귀 커버들 상에 적외선 광들을 구비하고 있으며, 휴대용 장치 내의 적외선 카메라 또는 센서를 사용하여 헤드셋의 적외선 광의 위치를 검출할 수도 있다.

또 다른 실시예들에서, 헤드셋의 이동을 추적하기 위해 헤드셋에 가속도계를 부착한다. 이 정보는 휴대용 장치에 공유되어 헤드셋 이동의 추적을 조절하고, 그에 따라 디스플레이 배향을 설정할 수도 있다. 무선 또는 적외선 통신과 같은 다른 통신 메커니즘을 사용할 수도 있지만, 추적 정보는 미니잭 (minijack) 통신과 밴드 공유를 통하여 교신된다.

도 13은 일 실시예에 따라 플레이어가 그의 배를 깔고 누워있을 때의 화면 선택을 나타낸다. 이 실시예에서, 휴대용 장치가 플레이어의 얼굴의 특징들을 추적한다. 휴대용 장치는 중력 측정에 의존하지 않기 때문에 휴대용 장치가 플레이어의 위치에 적합한 디스플레이의 배향을 선택하는 것이 가능하다.

일 실시예에서, 휴대용 장치가 또한 얼굴로 행하는 행위들을 추적할 수 있다. 예컨대, 양 눈을 길게 깜박이는 것이 검출되면 창을 닫거나 다음의 슬라이드를 제시하는 등의 명령을 수행할 수 있다. 또한 휴대용 장치가 얼굴의 위치와 얼굴 위치의 변화를 검출할 수 있는 한 다른 행위들도 입력들로서 사용될 수 있다. 예컨대, 머리를 좌측으로 돌리면 화면을 옆으로 스크롤할 수 있고, 끄덕이면 화면을 아래로 스크롤할 수 있는 등이다. 심지어 머리를 움직이지 않고 양 눈만으로 행하는 행위들도 입력으로서 사용될 수 있다. 좌측을 응시하면 게임의 장면을 좌측으로 스크롤할 수 있으며, 상측을 응시하면 메뉴를 열 수 있고, 양 눈을 길게 감으면 게임을 중지하는 등을 할 수 있다.

만일 휴대용 장치가 휴대용 장치의 상이한 측면들에 두 개의 디스플레이와 대응하는 디스플레이의 전방 영역을 포착하는 두 개의 카메라를 포함하고 있을 경우, 사용자가 응시하는 디스플레이가 어느 것인지를 검출하는 것이 가능하다. 이 경우에, 휴대용 장치는 이 정보를 사용하여 보고 있지 않은 다른 디스플레이를 오프시키거나 조명을 어둡게 할 수 있다. 만일 휴대용 장치가 후에 사용자에 의해 디스플레이를 바뀐 것을 검출할 경우, 오프되었던 디스플레이는 온되고 온되었던 디스플레이는 오프되거나 어두워질 것이다. 일 실시예에서, 휴대용 장치가 한 사용자를 디스플레이의 각 측면에서 검출할 경우, 두 개의 디스플레이가 동시에 온될 수도 있다. 예컨대, 카메라를 들고 있는 사용자는 다른 사람의 사진을 찍을 수 있으며, 사진이 어떻게 보이는지 관측할 수 있다. 이에 의해 상이한 두 사용자가 영화를 감상하거나 포토앨범을 브라우징하는 등의 동일한 컨텐츠를 상이한 디스플레이들에서 액세스하도록 하는 것을 일반화하는 것이 가능하다. 각 측면에 대해 개별적인 얼굴 인식 프로세스들이 수행되어야 하며 이에 따라서 각각의 디스플레이에서 화면의 배향은 서로 독립적이라는 것을 주목해야 한다.

도 14A-14B는 일 실시예에 따라 디스플레이와 얼굴의 대면 카메라를 갖는 자립형 장치에서의 화면 선택을 나타낸다. 디스플레이 배향을 설정하기 위한 얼굴의 특징들을 추적하는 것은 또한 태블릿들, 북리더들 또는 넷북들과 같은 대형 장치들에서도 사용될 수 있다. 도 14A에서는, 태블릿 장치(172)가 스탠드를 가지고 있으므로, 태블릿 장치가 인물 모드 또는 경치 모드로 스탠드 위에 설치될 수 있다. 태블릿은 사용자와 대면하는 카메라를 가지고 있어, 사용자의 양 눈의 위치에 기초하여 디스플레이의 배향을 선택한다. 마찬가지로, 도 14B에서는, 북리더 장치(174)가 인물 모드 위치로 스탠드 위에 설정되어 있다. 북리더 장치(174)는 사용자가 의자에 앉아 있는 것을 검출하였기 때문에, 북리더 장치(174)가 리더기 내에서 디스플레이의 위치에 매칭하는 인물 모드로 화면의 배향을 설정한다. 만일 사용자가 북리더 장치(174)를 경치 모드 위치로 변경하면, 북리더 장치 (174)는 리더기의 양 눈에 대해 상대적인 변화를 검출 후 디스플레이의 배향을 바꿀 것이다.

일 실시예에서, 화면의 배향이 화면 디스플레이 상에 또는 플레이어의 위치 상에 또는 그들 모두 위에 보이는 컨텐츠에 기초한다. 예컨대, 영화들을 상영하기 위한 애플리케이션은 화면의 배향을 경치 모드만으로 한정할 수도 있다. 얼굴 인식을 사용하여 플레이어가 어디에 위치한지 검출하여, 화면의 수평을 조정해서 플레이어의 위치를 매칭시킬 수 있다.

또 다른 실시예들에서, 사용자의 선택에 따라 화면의 배향이 얼굴의 위치에 설정되거나 또는 고정된 위치에 설정된다. 예컨대, 사용자가 소파에 누워서 영화를 시청하도록 결정할 수 있다. 사용자가 영화를 인물 모드로 표시하기보다는 오히려 표준 경치 모드로 볼 수 있도록 플레이어의 위치를 매칭시킬 수 있다.

대형 디스플레이를 갖는 TV 또는 컴퓨터와 같은 대형 장치에서는, 여러 시청자들이 상이한 위치들에 있을 수 있다. 그 장치는 상이한 발견적 방법(heuristic)으로 선택하여 화면의 배향을 설정할 수 있다. 예컨대, 단 한 사람의 시청자만 있다가 또 다른 시청자가 함께 할 경우, 화면의 배향은 처음 시청자가 보던 위치에 고정되거나, 장치가 시청자들의 여러 배향 위치를 검출하여 다수의 시청자들에 맞는 배향을 선택하거나, 화면의 배향은 중력측정 만에 기초하여 시청자들과는 무관하게 선택될 수도 있다.

도 15A-15B는 일 실시예에 따라 휴대용 장치를 들고 있는 운전자를 위한 화면의 선택을 나타낸다. 도 15A 및 15B는 모바일 폰(1502) 또는 전용 GPS 장치와 같은 GPS 가능 장치를 사용하고 있는 운전자를 나타낸다. 그 운전자는 지도를 관측하여 정보를 모바일 폰(1502)으로 전달한다. 도15A에서는, 운전자가 모바일 폰(1502)을 직접 응시하고 있으며, 모바일 폰(1502)은 운전자의 양 눈을 검출하여, 양 눈을 잇는 선(1504)을 생성한다. 그 다음 전술한 바와 같이 선(1504)을 참조하여 화면의 배향이 설정된다.

도 15B에서는, 운전자는 길의 앞쪽을 보고 있다. 모바일 폰(1502)이 운전자의 두 눈을 연결하는 선(1506)을 검출한다. 비록 검출 선(1506)이 도 15A로부터 선(1504)을 참고하여 변경되었지만, 모바일 폰(1502)이 도 6을 참조하여 설명된 바와 같이 선(1506)에 가장 근접한 각도를 찾을 것이기 때문에, 모바일 폰(1502)은 여전히 정확한 배향으로 정보를 표시할 것이다. 가장 근접한 각도는 지도의 인물 프레젠테이션 또는 구동방향에 일치할 것이다.

운전하는 동안 핸드프리 장치 없이 모바일 폰 상에서 텍스트를 보내거나 통화하는 것은 일부 상황들에서는 몇몇의 주에서 불법이다. 일 실시예에서, 모바일 폰 스스로가 움직이고 있음을 검출할 수 있으며 또한 플레이어 얼굴과의 관계가 변화하지 않음을 검출할 수 있다. 모바일 폰이 관성 센서들로부터 또는 GPS 모듈로부터의 정보를 사용하여 그것이 움직이고 있음을 검출할 수 있다. 모바일 폰이 사용자가 자동차 안에 있음을 검출하면, 모바일 폰은 핸드프리 장치 없이 텍스트를 취급하거나 통화하는 등의 일부 특징들을 불가능하게 하는 한편, 비상전화를 하거나 또는 모바일 폰 상에서 지도를 읽는 등의 다른 특징들은 가능하게 할 수 있다. 이 특징들은 또한 어버이 통제일 수 있다. 이 시스템은 위반사항들을 부모에게 통지하거나 자동차가 적절하게 정지된 후 시동이 걸리지 않도록 할 수 있다. 그러면 부모는 운전자 등으로부터 확인을 받은 후에 차를 원격으로 작동할 수 있다. 무효 메커니즘(override mechanism)은 차 안에 있는 사람이 운전자가 아니고 승객일 경우, 그 사람이 이러한 특징들을 사용할 수 있게 허용하기도 한다.

도 16A-16B는 일 실시예에 따라 화면이 플레이어의 얼굴에 고정된 경우의 휴대용 장치를 나타낸다. 휴대용 장치에서 실행되는 많은 게임들은 입력으로서 틸팅을 사용하여 게임을 제어한다. 예컨대, 운전 게임에서 장치를 우측으로 틸팅 또는 회전하면 차를 우측으로 조종하고 또한 좌측으로 틸팅하면 좌측으로 조종할 수 있다.

도 16A 및 16B는 사용자가 명령을 입력하기 위해 장치를 틸팅하고 있을 때라도 디스플레이 상의 화면을 안정되게 유지하는 방법을 나타낸다. 다시 말하면, 디스플레이 내의 화면이 자연을 보는 수평조망이라고 가정하면, 그 수평조망은 장치가 좌측 또는 우측으로 약간 틸팅되더라도 시청자에 대해 변경되지 않는다.

도 16A는 장치(1610) 상에서의 경주 게임을 나타낸다. 게임의 화면은 나무(1604), 광고판(1602) 및 차(1606)와 같은 여러 물체들을 포함한다. 도 16B는 플레이어가 장치를 약30도 회전시킨 후의 동일한 게임을 나타낸다. 일반적으로, 화면은, 플레이어의 위치에 연결되지 않고 장치의 위치에 연결될 수 있는 일부 물체들을 제외하고는, 플레이어를 기준으로 변경되지 않는다. 예컨대, 차(1606)가 30도 회전된 경우가 있으며 그 이유는 플레이어가 게임을 운전하면서 장치를 조종휘일(steering wheel)로서 사용하고 있기 때문이다. 장치를 회전시키면, 조종휘일이 회전하고 장치와 더불어 차가 회전한다. 그러나 나무 (1604)와 광고판 (1602)과 같은 다른 물체들은 플레이어에 대하여 회전되지 않았다.

장치를 회전시키는 이러한 개념은 화면이 플레이어에 연결되고 장치에 연결되지 않는다는 생각으로 일반화될 수 있다. 플레이어가 천천히 장치를 360도 회전시킬 경우, 화면은 플레이어에 대하여 변경되지 않을 것이다. 물론 화면의 가장자리는 디스플레이의 움직임을 수용하기 우해 변경되어야 할 것이다. 게임과 같은 동적인 컨텐츠의 경우에, 사진에 의해 커버될 수 없는 디스플레이 부분들은 흰색공간과 같은 배경으로 채워질 것이다.

도 17은 본 발명의 일 실시예에 따른 휴대용 장치의 디스플레이 상에 보인 화면의 배향을 설정하기 위한 프로세스 흐름을 나타낸다. 동작(1702)에서, 디스플레이의 전방 한 영역에서의 이미지가 포착된다. 한 실시예에서는, 그 이미지가 휴대용 장치의 비디오 카메라로 포착된다. 또 다른 실시예에서, 적외선 센서를 사용하여 디스플레이의 전방 영역에 대한 정보를 포착한다.

또한 동작(1704)에서, 이 방법은 사람이 디스플레이의 전방에 있는 영역에 위치해 있을 때, 그 사람의 얼굴 특징들의 위치를 나타낸다. 동작(1704) 후, 이 방법은 그 특징들의 위치에 기초하여 얼굴의 축을 결정하는 동작(1706)으로 진행한다. 결정하는 얼굴의 특징들로는 양 눈, 입, 코, 양 눈을 연결하는 선들, 양 눈과 코를 연결하는 선, 얼굴의 형상, 플레이어가 착용하고 있는 안경, 플레이어의 머리위의 헤드셋, 등이 있다.

동작(1706) 후, 이 방법은 동작 (1708)으로 진행하며, 여기서 휴대용 장치의 디스플레이 상에 보인 화면의 배향이 설정된다. 배향은 화면이 얼굴의 한 축에 대체적으로 일치하도록 설정된다. 일 실시예에서, 배향이 양 눈을 연결하는 선에 평행한 얼굴의 축이 디스플레이 내의 화면의 수평 축에 가장 근접하도록 설정된다. 또 다른 실시예에서, 화면의 수평 축이 휴대용 장치가 플레이어에 대해 움직일 때 디스플레이에 보이는 경치 또는 그 경치의 적어도 일부가 안정하게 유지되도록 플레이어의 양 눈을 연결하는 선에 정확하게 평행하도록 설정된다.

도 18은 본 발명의 실시예들을 구현하기 위해 사용될 수 있는 휴대용 장치의 구조를 나타낸다. 이 휴대용 장치는 연산장치와 그 연산장치에 내장되는 프로세서, 메모리 (RAM,ROM, 등), 배터리 또는 기타 전원장치, 및 영구 저장장치 (예, 하드디스크)와 같은 통상적인 통신모듈들을 포함한다. 통신모듈은 휴대용 장치가 다른 휴대용 장치와 또는 컴퓨터들, 서버들, 등과 정보를 교환하게 한다. 통신모듈로는 범용 시리얼 버스 (USB) 연결기, 통신 링크 (예, 이더넷), 초음파 통신, 블루투스 및 WiFi 등이 있다.

입력모듈로는 입력버튼들 및 센서들, 마이크로 폰, 터치 감응 스크린, 카메라 (전방 대면, 후반 대면, 심도 카메라), 및 카드리더 등이 있다. 키보드 또는 마우스와 같은 기타 입력/출력 장치들도 또한 휴대용 장치에 USB 또는 블루투스와 같은 통신링크들을 통해 연결될 수 있다. 출력모듈로는 디스플레이 (터치 감응 스크린 부착), 발광 다이오드(LED), 진동 촉각 피드백 (vibro-tactile feedback) 및 스피커 등이 있다. 기타 출력 장치들도 또한 통신모듈들을 통해 휴대용 장치에 연결할 수 있다.

상이한 장치들로부터의 정보는 위치모듈에 의해 사용되어 휴대용 장치와 그 장치를 쥐고 있는 사용자의 위치를 산출할 수 있다. 이 모듈들은 자기력계, 가속도계, 자이로스코프, GPS, 콤파스, 및 카메라에 의해 포착되는 이미지 정보 등을 포함한다. 추가적으로, 위치모듈은 카메라와 마이크로폰에 의해 포착된 음성과 이미지 데이터를 분석하여 그 위치를 산출할 수 있다. 화면 발생기는 화면을 생성하여 디스플레이에 화면을 나타내기에 적합한 배향을 선택한다.

도 18에 나타낸 실시예가 휴대용 장치의 예시적인 실행이라는 것을 인정해야 한다. 다른 실시예들에서는 상이한 모듈들이나 그 모듈들의 서브 세트를 이용하거나 또는 상이한 모듈들에 관련된 작업들을 이용할 수 있다. 그러므로 도 18에 나타낸 실시예는 배타적이거나 한정적인 것으로 해석되지 않고 설명적이거나 도해적인 것으로 해석되어야 한다.

본 발명의 실시예들은 휴대장치, 마이크로프로세서 시스템들, 마이크로프로세서를 기반으로 하거나 프로그램가능한 소비자 전자장치들, 미니컴퓨터들, 메인프레임 컴퓨터들, 등을 포함하는 여러 가지 컴퓨터 시스템 구성들로 실시될 수 있다. 본 발명은 또한 유선 기반 네트워크 또는 무선 네트워크를 통해 링크된 원격처리장치들에 의해 업무가 수행되는 분산된 연산 환경들에서 실시될 수도 있다.

상술한 실시예들을 마음에 두면서, 본 발명이 컴퓨터 시스템들에 저장된 데이터와 관련하는 여러 가지 컴퓨터 실행 동작들을 사용할 수 있음을 이해해야 한다. 이 동작들은 물리적 량의 물리적 조작을 요하는 것들이다. 여기서 설명된 동작들은 본 발명의 일부를 형성하는 것으로 기계동작들에 유용하다. 본 발명은 또한 이 동작들을 수행하기 위한 디바이스 또는 장치에 관한 것이다. 이 장치는 구체적으로 요구된 목적을 위해 구성될 수 있으며, 또는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 작동되거나 또는 구성되는 범용성 컴퓨터일 수 있다. 특히 여러 가지 범용성 기계들은 여기에서의 교시에 따라 기입된 컴퓨터 프로그램들과 함께 사용될 수 있으며, 또는 요구된 동작들을 수행하기 위해 좀더 특수한 장치를 구성하는 것이 더욱 편리할 수도 있다.

본 발명은 또한 컴퓨터 독출가능 매체 상에서 컴퓨터 독출가능 코드로서 구현될 수도 있다. 컴퓨터 독출가능 매체는 데이터를 기억시켰다가 나중에 컴퓨터 시스템에 의해 독출될 수 있는 어떠한 데이터 기억 장치라도 좋다. 컴퓨터 독출가능 매체를 예로 들면 하드 드라이브들, 네트워크 부착 저장장치 (network attached storage: NAS), 독출 전용 메모리, 랜덤 액세스 메모리, CD-ROM, CD-R, CD-RW 등이 있다. 컴퓨터 독출가능 매체는 컴퓨터 독출가능 코드를 분산형식으로 저장하고 실행할 수 있도록 네트워크 결합 컴퓨터 시스템을 통해 분산되는 컴퓨터 독출가능 유형 (tangible) 매체를 포함할 수도 있다.

비록 방법 동작들을 특정 순서로 설명하였으나, 중복되는 동작들의 처리가 원하는 방식으로 수행되는 한, 기타 하우스키핑 (housekeeping) 동작들은 동작들 사이에서 수행되거나 또는 그 동작들이 약간 다른 시간들에 발생하도록 조정될 수도 있으며, 또는 처리와 관련된 여러 가지 간격들에서 처리동작들의 진행을 허용하는 시스템에서 분산처리될 수도 있음을 이해해야 한다.

비록 전술한 본 발명은 명확한 이해를 위해 상당히 상세히 설명되었지만 첨부된 청구범위 내에서 수정 및 변경이 실시될 수 있음이 명백한 것이다. 따라서, 본 실시예들은 설명을 위한 것이며 한정을 하기 위한 것이 아닌 것으로 생각되며, 본 발명은 여기에 주어진 상세한 내용에 한정되지 않고 첨부된 청구항들의 범위와 균등물들 내에서 수정될 수 있음을 이해해야 할 것이다.

Claims (21)

1. 휴대용 장치의 디스플레이에 보이는 화면의 배향을 설정하기 위한 방법에 있어서,
   상기 디스플레이 전방의 한 영역의 이미지를 포착하는 단계;
   상기 디스플레이 전방의 상기 영역에 사람의 얼굴이 위치될 때 얼굴의 특징들의 위치를 식별하는 단계;
   상기 특징들의 위치에 기초하여 상기 얼굴의 축을 결정하는 단계; 및
   상기 얼굴의 상기 축에 대체적으로 일치하도록 상기 휴대용 장치의 상기 디스플레이 상에 보이는 상기 화면의 배향을 설정하는 단계를 포함하는 것을 특징으로 하는 휴대용 장치의 디스플레이에 보이는 화면의 배향을 설정하기 위한 방법.
2. 제1항에 있어서,
   상기 화면의 배향을 설정하는 단계는 상기 화면의 수평 축이 대체적으로 상기 디스플레이의 길이방향 또는 세로방향 축에 일치하고 또한 상기 얼굴의 수평 축과 상기 화면의 수평 축 간의 각도의 절대 값이 45도 이하가 되도록 상기 화면의 배향을 선택하는 단계를 포함하는 것을 특징으로 하는 휴대용 장치의 디스플레이에 보이는 화면의 배향을 설정하기 위한 방법.
3. 제1항에 있어서,
   상기 얼굴 변화의 특징들의 위치로서 상기 화면의 배향을 계속 설정하는 단계를 더 포함하는 것을 특징으로 하는 휴대용 장치의 디스플레이에 보이는 화면의 배향을 설정하기 위한 방법.
4. 제1항에 있어서,
   상기 얼굴의 특징들은 상기 사람의 양 눈과 코를 포함하는 것을 특징으로 하는 휴대용 장치의 디스플레이에 보이는 화면의 배향을 설정하기 위한 방법.
5. 제4항에 있어서,
   상기 얼굴의 축은 양 눈을 가로지르며, 상기 코는 상기 축 아래에 위치되는 것을 특징으로 하는 휴대용 장치의 디스플레이에 보이는 화면의 배향을 설정하기 위한 방법.
6. 제1항에 있어서,
   상기 얼굴의 특징들은 양 눈과 입을 포함하는 것을 특징으로 하는 휴대용 장치의 디스플레이에 보이는 화면의 배향을 설정하기 위한 방법.
7. 제1항에 있어서,
   상기 얼굴의 특징들은 사람의 양 눈을 포함하며,
   상기 축을 결정하는 단계는 상기 축을 산출하도록 상기 양 눈의 위치와 중력을 사용하는 단계를 더 포함하는 것을 특징으로 하는 휴대용 장치의 디스플레이에 보이는 화면의 배향을 설정하기 위한 방법.
8. 제1항에 있어서,
   상기 화면의 배향을 설정하는 단계는 상기 화면의 적당한 배향을 결정하도록 장치 관성 정보와 상기 얼굴의 특징들의 위치를 사용하는 단계를 더 포함하는 것을 특징으로 하는 휴대용 장치의 디스플레이에 보이는 화면의 배향을 설정하기 위한 방법.
9. 제1항에 있어서,
   상기 얼굴의 특징들의 위치를 연속하여 추적하는 단계로서, 상기 특징들은 사람의 양 눈을 포함하는 상기 추적하는 단계,
   상기 양 눈의 깜박임을 검출하는 단계, 및
   상기 양 눈의 깜박임의 검출에 응답하여 상기 휴대용 장치에서 동작을 수행하는 단계를 더 포함하는 것을 특징으로 하는 휴대용 장치의 디스플레이에 보이는 화면의 배향을 설정하기 위한 방법.
10. 제1항에 있어서,
    상기 화면의 배향을 설정하는 단계는 상기 화면의 수평 축이 상기 얼굴의 수평 축에 일치하도록 상기 화면의 배향을 설정하는 단계를 더 포함하는 것을 특징으로 하는 휴대용 장치의 디스플레이에 보이는 화면의 배향을 설정하기 위한 방법.
11. 제10항에 있어서,
    상기 화면은 물체의 위치가 상기 장치의 위치에 관련된 적어도 하나의 상기 물체를 포함하며, 상기 화면은 물체의 위치가 상기 얼굴의 수평 축에 관련된 적어도 하나의 상기 물체를 포함하는 것을 특징으로 하는 휴대용 장치의 디스플레이에 보이는 화면의 배향을 설정하기 위한 방법.
12. 디스플레이;
    상기 디스플레이의 전방의 한 영역의 이미지들을 포착하기 위한 카메라; 및
    상기 디스플레이의 전방의 상기 영역에 위치된 사람의 얼굴의 특징들의 위치를 식별하여 상기 특징들의 상기 위치에 기초하여 상기 얼굴의 축을 결정하는 플레이어위치모듈을 포함하며;
    상기 디스플레이 상에 보이는 화면의 배향은 상기 얼굴의 축에 대체적으로 일치하는 것을 특징으로 하는 휴대용 장치.
13. 제12항에 있어서,
    상기 휴대용 장치는 게임 컨트롤러, 휴대용 게임장치, 셀 폰(cell phone), 카메라, 태블릿(tablet), 개인용 휴대정보 단말기(PDA), 휴대용 뮤직 플레이어, 휴대용 비디오 플레이어, 리모트 컨트롤, 디지털 포토 프레임, 캠코더, 휴대용 텔레비젼 또는 글로벌 위치결정 시스템(GPS)장치로 구성되는 그룹으로부터 선택되는 것을 특징으로 하는 휴대용 장치.
14. 제12항에 있어서,
    상기 카메라는 적외선 센서이며, 상기 얼굴의 특징들은 상기 사람의 양 눈을 포함하며, 상기 양 눈은 상기 적외선 센서로 검출되는 것을 특징으로 하는 휴대용 장치.
15. 제12항에 있어서,
    상기 얼굴의 특징들은 상기 사람의 코와 입을 포함하는 것을 특징으로 하는 휴대용 장치.
16. 제12항에 있어서,
    상기 얼굴의 특징들은 상기 얼굴의 윤곽을 나타내는 타원형을 포함하며,
    상기 얼굴의 축은 상기 타원형의 단 축에 일치하는 것을 특징으로 하는 휴대용 장치.
17. 휴대용 장치의 디스플레이 상에 보이는 화면의 배향을 설정하기 위해 하나 이상의 프로세서들에 의해 실행될 때 컴퓨터 독출가능 저장매체 내에 내장된 컴퓨터 프로그램에 있어서,
    상기 디스플레이의 전방의 한 영역의 이미지를 포착하기 위한 프로그램 명령;
    상기 디스플레이의 전방의 영역에 사람이 위치될 때 그 사람의 얼굴의 특징들의 위치를 식별하기 위한 프로그램 명령;
    상기 특징들의 위치에 기초하여 상기 얼굴의 축을 결정하기 위한 프로그램 명령; 및
    상기 얼굴의 축에 대체적으로 일치하도록 상기 휴대용 장치의 상기 디스플레이 상에 보이는 상기 화면의 상기 배향을 설정하기 위한 프로그램 명령
    을 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
18. 제17항에 있어서,
    상기 배향을 설정하기 위한 상기 프로그램 명령은 상기 화면의 수평 축이 상기 디스플레이의 길이방향 또는 세로방향 축에 대체적으로 일치하도록 그리고 상기 얼굴의 수평 축과 상기 화면의 수평 축 간의 각도의 절대 값이 45도 이하가 되도록 상기 화면의 배향을 선택하기 위한 프로그램 명령을 더 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
19. 제17항에 있어서,
    상기 얼굴의 상기 특징들은 사람이 안경을 착용하지 않을 때의 상기 사람의 양 눈과 사람이 안경을 착용할 때의 상기 사람의 안경을 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
20. 제17항에 있어서,
    상기 얼굴의 특징들은 상기 얼굴의 귀에 얹혀진 헤드셋을 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
21. 제17항에 있어서,
    상기 카메라는 적외선 센서이며, 상기 사람에 얹혀진 헤드셋은 적외선 광을 방출하며, 상기 헤드셋은 상기 적외선 센서로 검출되는 것을 특징으로 하는 컴퓨터 프로그램.

Images