KR20010098781A - 정보 처리 장치, 이동 인식가능 대기 상태를디스플레이하는 방법, 인식가능한 이동을 도시하는 방법,이동 인식 과정을 디스플레이하는 방법, 및 프로그램 저장매체 - Google Patents

정보 처리 장치, 이동 인식가능 대기 상태를디스플레이하는 방법, 인식가능한 이동을 도시하는 방법,이동 인식 과정을 디스플레이하는 방법, 및 프로그램 저장매체 Download PDF

Info

Publication number
KR20010098781A
KR20010098781A KR1020010021420A KR20010021420A KR20010098781A KR 20010098781 A KR20010098781 A KR 20010098781A KR 1020010021420 A KR1020010021420 A KR 1020010021420A KR 20010021420 A KR20010021420 A KR 20010021420A KR 20010098781 A KR20010098781 A KR 20010098781A
Authority
KR
South Korea
Prior art keywords
recognition
image
moving direction
movement
user
Prior art date
Application number
KR1020010021420A
Other languages
English (en)
Other versions
KR100843811B1 (ko
Inventor
이나가끼다께오
사이또준꼬
이하라게이고
스에요시다까히꼬
야마구찌요시히로
고미신이찌로
Original Assignee
이데이 노부유끼
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2000126343A external-priority patent/JP4415227B2/ja
Priority claimed from JP2000126344A external-priority patent/JP2001306049A/ja
Priority claimed from JP2000126342A external-priority patent/JP2001307108A/ja
Application filed by 이데이 노부유끼, 소니 가부시끼 가이샤 filed Critical 이데이 노부유끼
Publication of KR20010098781A publication Critical patent/KR20010098781A/ko
Application granted granted Critical
Publication of KR100843811B1 publication Critical patent/KR100843811B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

정보 처리 장치는 CCD 카메라(8)에 의해 사용자를 촬영하여 얻은 영상을 기초로, 사용자의 이동 방향을 인식하고, 인식된 이동 방향에 대응하는 명령을 생성할 때, 그 장치가 사용자의 이동을 탐색하는 중임을 나타내도록 탐색 상태에서 행위(gesture) 인식 화면(100)을 생성하여, 사용자의 이동이 인식가능하고 대기 상태에 있음을 사용자에게 확실하게 알려 주도록 액정 디스플레이(10)에 이를 디스플레이할 수 있다. 또한, 정보 처리 장치는 CCD 카메라(8)에 의해 사용자를 촬영하여 얻은 영상을 기초로 사용자 행동의 이동 방향을 인식하기 이전에, 사용자가 인식가능한 이동 방향을 볼 수 있도록 행위 인식 화면(100)을 미리 생성하고, 행위 인식 화면(100) 상에 수평선으로 배열된 타겟부(107)를 디스플레이하여, 타겟부(107)를 사용해 좌우측 이동이 인식가능함을 사용자에게 미리 알려줄 수 있다. 더욱이, 정보 처리 장치는 CCD 카메라(8)로 사용자의 손을 촬영하여 얻은 영상을 기초로, 그 영상에서 손의 이동 방향을 인식하고, 인식된 손의 이동 궤적을 나타내는 시각적 피드백 화면을 생성하며, 또한 피드백에 의해 손의 이동이 인식되었던 방법을 사용자가 알 수 있도록 액정 디스플레이(10)에 이를 디스플레이할 수 있다.

Description

정보 처리 장치, 이동 인식가능 대기 상태를 디스플레이하는 방법, 인식가능한 이동을 도시하는 방법, 이동 인식 과정을 디스플레이하는 방법, 및 프로그램 저장 매체{INFORMATION PROCESSING APPARATUS, METHOD OF DISPLAYING MOVEMENT RECOGNIZABLE STANDBY STATE, METHOD OF SHOWING RECOGNIZABLE MOVEMENT, METHOD OF DISPLAYING MOVEMENT RECOGNIZING PROCESS, AND PROGRAM STORAGE MEDIUM}
본 발명은 정보 처리 장치, 이동 인식가능 대기 상태를 디스플레이하는 방법, 인식가능한 이동을 도시하는 방법, 이동 인식 과정을 디스플레이하는 방법, 및 프로그램 저장 매체에 관한 것으로, 보다 상세히는 노트북 개인용 컴퓨터 (이하, 노트북 PC라 칭함)에 바람직하게 적용될 수 있다.
노트북 PC는 액정 디스플레이와 같은 디스플레이 수단과, 키보드 및 마우스와 같이 명령과 문자를 입력하는 입력 수단으로 구성되어, 키 조작에 의해 입력된 명령에 따라 소정의 처리를 실행하고 실행 결과를 디스플레이 수단에 디스플레이하게 된다.
또한, 최근 일부 노트북 PC들 각각은, 키보드 및 마우스 이외의 입력 수단으로, 노트북 PC의 한 면으로부터 약간 돌출된 소정의 형태의 회전 조작기 즉, 조그 다이얼을 구비하여, 이 조그 다이얼을 돌리고 누름으로써 명령 결정 및 메뉴 항목의 선택과 같은 지시가 입력될 수 있다.
한편, 이러한 노트북 PC에 대해, 키보드, 마우스, 또는 조그 다이얼과 같은 입력 수단을 직접 조작하여 소정의 활성 윈도우 화면에서 명령이 입력될 때, 활성윈도우 화면은 어느 입력 수단이 유효하고 그 입력 수단이 사용자의 입력 조작에 대해 대기 상태에 있음을 사용자에게 반드시 표시하지는 않는다. 그 결과로, 컴퓨터에 익숙하지 않은 사용자가 사용하는 것이 쉽지 않고 불리하다.
또한, 이러한 노트북 PC는 조그 다이얼을 회전시켜 메뉴 항목이 선택되는 경우, 사용자가 실제로 조그 다이얼을 조작할 때까지 어느 방향이 유효한가 즉, 좌우측 방향 또는 상하측 방향인가를 인식할 수 없는 문제점을 갖는다.
더욱이, 이러한 노트북 PC에서 상술된 키보드, 마우스, 및 조그 다이얼에 부가하여, 외부에 연결된 카메라를 사용하여 사용자를 촬영하고 사용자의 동작에 따라 명령을 자동적으로 입력하도록 제안된 경우에는, 사용자가 실수로 다른 명령을 입력하는 경우에 무슨 동작이 잘못된 인식을 야기시키는가를 알 수 없기 때문에, 사용하기에 쉽지 않고 불리한 문제점이 생긴다.
상기의 내용을 고려하여, 본 발명의 목적은 익숙하지 않은 사용자도 사용하기에 보다 용이한 정보 처리 장치, 이동 인식가능 대기 상태를 디스플레이하는 방법, 및 프로그램 저장 매체를 제공하는 것이다.
본 발명의 상기 목적 및 다른 목적은, 촬상 수단에 의해 인식 대상을 촬영하여 얻은 화상을 기초로 인식 대상의 이동 방향을 인식하고, 인식된 인식 대상의 이동 방향에 대응하는 소정의 명령을 생성할 때 장치가 인식 대상의 이동 방향을 인식할 수 없으면 상기 화상에서 장치가 인식 대상을 탐색하는 중임을 나타내는 소정의 대기 상태 화상을 소정의 디스플레이 수단에 디스플레이함으로써, 장치가 인식대상의 이동 방향을 인식할 수 있고, 또한 대기 상태에 있음을 사용자에게 확실히 알려줄 수 있는 정보 처리 장치, 이동 인식가능 대기 상태를 디스플레이하는 방법, 및 프로그램 저장 매체를 제공함으로써 달성된다.
본 발명의 또 다른 목적은, 사용자의 입력 조작이 어떻게 인식될 것인가를 사용자에게 미리 알려줄 수 있는 정보 처리 장치, 인식가능한 이동을 도시하는 방법, 및 프로그램 저장 매체를 제공하는 것이다.
본 발명의 상기 목적 및 다른 목적은, 촬상 수단에 의해 인식 대상을 촬영하여 얻은 화상을 기초로 인식 대상의 이동 방향을 인식하기 이전에, 사용자가 인식가능한 이동 방향을 시각적으로 볼 수 있게 하는 인식가능 이동 방향 영상을 미리 생성하고, 그 영상을 소정의 디스플레이 수단에 디스플레이함으로써, 소정의 인식가능 이동 방향 영상 화상을 사용하여 인식가능한 이동 방향을 사용자에게 알려줄 수 있는 정보 처리 장치, 인식가능한 이동을 도시하는 방법, 및 프로그램 저장 매체를 제공함으로써 달성된다.
본 발명의 또 다른 목적은, 인식 대상의 이동이 인식될 때까지 인식 과정에 대한 피드백에 의해 사용자가 학습할 수 있는 정보 처리 장치, 이동 인식 과정을 디스플레이하는 방법, 및 프로그램 저장 매체를 제공하는 것이다.
본 발명의 상기 목적 및 다른 목적은, 촬상 수단에 의해 인식 대상을 촬영하여 얻은 화상에서 인식 대상의 이동 방향을 인식하고, 인식된 인식 대상의 이동 궤적을 나타내는 인식 처리 영상을 생성하며, 소정의 디스플레이 수단에 그 영상을 디스플레이함으로써, 인식 대상의 이동 방향이 인식되는 방법에 대한 피드백에 의해 학습할 수 있는 정보 처리 장치, 이동 인식 처리를 디스플레이하는 방법, 및 프로그램 저장 매체를 제공함으로써 달성된다.
본 발명의 특성, 원리, 및 효용성은, 동일한 구성은 동일한 참조 번호나 문자로 나타내지는 첨부된 도면을 참조로 하고 이하의 상세한 설명으로부터 보다 명백해진다.
도 1은 본 발명의 제1 실시예에 따른 노트북 개인용 컴퓨터의 전체적인 구성을 도시하는 투시도.
도 2는 본체의 좌측 구성을 도시하는 도면.
도 3은 본체의 후면 및 하단 구성을 도시하는 도면.
도 4는 노트북 개인용 컴퓨터의 회로 구성을 도시하는 블록도.
도 5는 행위 인식 처리 과정을 도시하는 흐름도.
도 6은 활성 윈도우 화면에 오버랩되어 디스플레이되는 행위 인식 화면을 도시하는 도면.
도 7은 행위 인식 화면의 구성을 도시하는 도면.
도 8은 타겟의 구성을 도시하는 도면.
도 9는 손 위치에 대한 정보를 구하기 위한 처리 과정을 도시하는 흐름도.
도 10은 YUV 색채 공간에 디스플레이된 칼라 영역을 도시하는 도면.
도 11은 탐색 상태 하에서의 행위 인식 화면을 도시하는 도면.
도 12는 포인터와 손바닥 영역 인식 프레임이 오버랩된 행위 인식 화면을 도시하는 도면.
도 13은 행위 이동을 판단하기 위한 처리 과정을 도시하는 흐름도.
도 14는 손가락 끝부분의 이동 거리 계산을 설명하는 도면.
도 15는 처리 흐름을 소프트웨어로 설명하는 도면.
도 16a 내지 도 16c는 시각적 피드백 화면을 도시하는 도면.
도 17은 제2 실시예에 따른 네트워크 시스템의 전체적인 구성을 도시하는 도면.
도 18은 카메라가 구비된 디지털 휴대용 전화기의 외형을 도시하는 투시도.
도 19는 카메라부가 회전될 때 디스플레이부를 도시하는 투시도.
도 20은 카메라가 구비된 디지털 휴대용 전화기의 회로 구성을 도시하는 블록도.
<도면의 주요 부분에 대한 부호의 설명>
1 : 노트북 PC
2 : 본체
3 : 디스플레이부
8 : CCD 카메라
10 : 액정 디스플레이
11 : 촬상부
107 : 타겟부
250 : 주 제어부
MS3 : 카메라가 구비된 디지털 휴대용 전화기
첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다:
(1) 제1 실시예
(1-1) 노트북 개인용 컴퓨터의 외형
도 1에서, 참조 번호 1은 본 발명이 적용되는 정보 처리 장치인 노트북 개인용 컴퓨터 (이하, 노트북 PC라 칭함)를 전체적으로 도시하고, 이는 본체(2) 및 본체(2)에 부착되어 개폐가능한 디스플레이부(3)로 구성된다.
본체(2)는 상단면에 다양한 문자, 코드, 및 숫자를 입력하기 위한 복수의 조작 키(4), 마우스 커서를 이동시키는 데 사용되는 스틱 포인팅 디바이스 (이하, 간단히 스틱이라 칭함; 5), 통상의 마우스의 좌우측 버튼과 동일한 좌우측 클릭 버튼(5A, 5B), 스크롤 버튼에서 마우스 커서를 누르지 않고 스크롤 바를 조작하기 위한 중앙 버튼(5C), 내장 스피커(6A, 6B), 푸시형 전원 스위치(7), 디스플레이부(3)에 제공된 전하 결합 디바이스(charge coupled device: CCD) 카메라(8)의 셔터 버튼(9), 발광 다이오드(light emitting diode: LED)인 전원 램프(PL), 배터리 램프(BL), 및 메시지 램프(ML) 등을 구비한다.
디스플레이부(3)에는 전면에 예를 들어 8.9인치 (1,024 ×480 픽셀)의 박막 트랜지스터(thin film transistor: TFT) 칼라 액정인 액정 디스플레이(10)가 제공되고, 그 외에, 전면의 상단 중심부에는 촬상 수단으로 조작하는 CCD 카메라(8)가 구비된 촬상부(11)가 회전가능하게 제공된다.
이 촬상부(11)에서, CCD 카메라(8)는 전면을 디스플레이부(3)의 뒤방향으로 향하도록 180°의 각도 내에서 회전되도록 위치하는 것이 가능하고, 촬상부(11)의 상단에 제공된 조정 고리(12)를 회전시킴으로써 CCD 카메라(8)로 원하는 촬상 대상을 촬영할 때 초점 조정이 용이하게 수행될 수 있다.
또한, 디스플레이부(3)는 촬상부(11)의 전면 및 후면에서 좌측 부근에 제공된 마이크로폰(13)을 구비하므로, 디스플레이부(3)의 전면으로부터 후면으로 넓은 범위에서 마이크로폰(13)을 통해 사운드를 수집하는 것이 가능하다.
또한, 디스플레이부(3)는 액정 디스플레이(10)의 좌우측 부근에 각각 제공된 네일(14, 15)을 구비하고, 오프닝(16, 17)은 네일(14, 15)에 대응하는 본체(2)의 소정의 위치에 제공되므로, 네일(14, 15)은 본체(2)의 상단 표면과 접촉되는 디스플레이부(3)의 전방 면과 대응하는 오프닝(16, 17)에 맞추어진다.
부언하자면, 본체(2)와 접촉되는 디스플레이부(3)가 비스듬히 세워질 때 오프닝(16, 17)과 네일(14, 15) 사이에 맞추어진 상태가 풀려져 디스플레이부가 본체(2)로부터 위로 열려질 수 있다.
또한, 본체(2)는 우측면에 IrDA(Infrared Data Association) 기반의 적외선 포트(18), 헤드폰 단자(19), 마이크로폰 입력 단자(20), USB(universal serialbus) 단자(21), 외부 전원 커넥터(22), 외부 디스플레이 출력 커넥터(23), 회전 조작기를 회전하여 누름으로써 소정의 처리를 실행하도록 지시를 입력할 수 있는 조그 다이얼(24), 및 모듈 잭용 모뎀 단자(25)를 구비한다.
한편, 도 2에 도시된 바와 같이, 본체(2)는 좌측면에 배기구(26), PCMCIA(Personal Computer Memory Card International Association) 기반의 PC 카드용 개인용 컴퓨터(PC) 카드 슬롯(27), 및 4개 핀의 IEEE(Institute of Electrical and Electronics Engineer) 1394 단자(28)를 구비한다.
더욱이, 도 3에 도시된 바와 같이, 본체(2)는 뒷면에 배터리 커넥터(29)를 구비하고, 바닥면에 배터리 팩(30) (도 1)을 제거하기 위한 슬라이딩 제거 레버(31), 슬라이딩 제거 레버(31)를 고정하기 위한 고정 레버(32), 및 본체(2)의 동작을 인터럽트하여 전원 환경을 재구성하는 리셋 스위치(33)를 구비한다. 배터리 팩(30)은 배터리 커넷터(29)에 분리가능하게 연결된다.
(1-2) 노트북 개인용 컴퓨터의 회로 구성
다음으로, 도 4를 참고로 노트북 PC(1)의 회로 구성을 상세히 설명한다. 노트북 PC(1)의 본체(2)에서는 본체(2)의 전체적인 기능을 제어하기 위한 CPU(central processing unit; 50)가 호스트 버스(52)와 연결된다. CPU(50)는, 다양한 기능을 실현하도록, 클럭 발생기(60)로부터 주어진 시스템 클럭을 기초로 하는 소정의 동작 속도로 랜덤 액세스 메모리(RAM)(53)에 로드된 응용 소프트웨어 및 프로그램에 따라 처리를 실행한다.
또한, 호스트 버스(52)가 캐시 메모리(51)에 연결되어, CPU(50)에 의해 사용되는 데이터를 캐시 처리하여 고속 액세스를 실현한다.
이 호스트 버스(52)는 호스트-PCI 브릿지(54)로 PCI(peripheral component interconnect) 버스(55)에 연결되고, PCI 버스(55)는 비디오 제어기(56), IEEE 1349 인터페이스(57), 비디오 캡처 처리 칩(83), 및 PC 카드 인터페이스(58)에 연결된다.
여기서, 호스트-PCI 브릿지(54)는, CPU(50)와, 비디오 제어기(56), 비디오 캡처 처리 칩(83), IEEE 1349 인터페이스(57), 및 PC 카드 인터페이스(58) 사이에서의 다양한 데이터의 송수신을 제어하고, 또한 메모리 버스(59)와 연결된 RAM(53)의 메모리 제어를 실행한다.
또한, 호스트-PCI 브릿지(54)는 AGP(accelerated graphics port)인 신호선으로 비디오 제어기(56)에 연결되고, 그에 의해 비디오 제어기(56)와 호스트-PCI 브릿지(54) 사이에 고속으로 영상 데이터를 전달하는 것이 가능하다.
비디오 캡처 처리 칩(83)은 직렬 버스인 I2C 버스(82) (일반적으로 SM(system management) 버스라고도 함)와 연결되고, CCD 카메라(8)에 의해 촬영된 영상 데이터가 I2C 버스(82)를 통해 공급되면, 이는 JPEG(joint photographic experts group) 표준을 기초로 영상 압축 처리를 실행하여 JPEG 영상 데이터를 생성하도록 내장 프레임 메모리(도시되지 않음)에 일단 저장되고, 이어서 JPEG 영상 데이터가 프레임 메모리에 다시 저장된다.
이 때, 비디오 캡처 처리 칩(83)은 버스 마스터 기능을 사용하여 CPU(50)로부터의 요구에 응답하여 프레임 메모리에 저장된 JPEG 영상 데이터를 RAM(53)에 전달하고, 이어서 JPEG 영상 데이터가 JPEG 영상 (정지 화상) 데이터 또는 모션 JPEG (동화상) 데이터로 하드 디스크 드라이브(HDD)(67)에 전달된다.
부가하여, 비디오 제어기(56)는 CCD 카메라(8)에 의해 촬영된 영상 데이터 및 적절한 시기에 제공된 다양한 응용 소프트웨어를 기초로 하는 영상 데이터를 디스플레이부(3)의 액정 디스플레이(10)에 출력하여 다양한 윈도우 화면을 디스플레이한다.
IEEE 1349 인터페이스(57)는 IEEE 1394 단자(28)에 직접 연결되고, IEEE 1394 단자(28)로 디지털 비디오 카메라와 같은 외부 디바이스 및 또 다른 컴퓨터 장치에 연결될 수 있다.
PC 카드 인터페이스(58)는 선택적인 기능이 부가될 때 PC 카드 슬롯(27)에 장착되는 PC 카드(도시되지 않음)에 연결되고, PC 카드로 CD-ROM(compact disc-read only memory) 드라이브 또는 DVD(digital versatile disc) 드라이브와 같은 외부 디바이스에 연결될 수 있다.
PCI 버스(55)는 PCI-ISA 브릿지(66)로 ISA(industrial standard architecture) 버스(65)에 연결되고, PCI-ISA 브릿지(66)는 HDD(67) 및 USB 단자(21)에 연결된다.
여기서, PCI-ISA 브릿지(66)는 IDE(integrated drive electronics) 인터페이스, 구성 레지스터, RTC(real-time clock) 회로, USB 인터페이스 등으로 구성되고, 이는 클럭 발생기(60)로부터 주어진 시스템 클럭을 기초로 IDE 인터페이스를 통해HDD(67)를 제어한다.
HDD(67)의 하드 디스크는 윈도우 98 (상표명)과 같은 운영 시스템(OS), 전자 메일 프로그램, 자동 파일럿 프로그램, 조그 다이얼 서버 프로그램, 조그 다이얼 구동기, 캡처 소프트웨어, 디지털 맵 소프트웨어, 및 다른 다양한 응용 소프트웨어를 저장하고, 이들은 개시 처리 중 적절한 시기에 RAM(53)으로 전달되어 로드된다.
또한, PCI-ISA 브릿지(66)는 USB 단자(21)에 연결된 플로피 디스크 드라이브, 프린터, 및 USB 마우스와 같은 외부 디바이스를 USB 인터페이스(도시되지 않음)를 통해 제어하고, 또한 ISA 버스(65)와 연결된 모뎀(69) 및 사운드 제어기(70)를 제어한다.
모뎀(69)은 공중 전화 회로(도시되지 않음)를 구비한 모뎀 단자(25)를 사용하여 인터넷 서비스 제공자 (이하, 제공자라 칭함)에 연결되어, 제공자를 통한 인터넷으로의 다이얼업 IP 연결을 실행한다.
사운드 제어기(70)는 마이크로폰(13)에 의해 수집된 오디오 신호를 아날로그 형태로 변환하여 오디오 데이터를 생성하고, 또한 CPU(50)로부터 공급된 오디오 데이터를 아날로그 형태로 변환하여 내장 스피커(6)를 통해 외부로 출력되는 오디오 신호를 생성한다.
또한, ISA 버스(65)는 입출력(I/O) 제어기(73)에 연결되고, 외부 전원 커넥터(22)와 전원 공급 및 충전 제어 회로(85)를 통해 외부 전원으로부터 공급된 전원을 수신하여, 전원 스위치(7)가 온(ON) 상태로 될 때 각 회로에 전원을 공급한다. I/O 제어기(73)는 또한 클럭 발생기(60)로부터 주어진 시스템 클럭을 기초로 동작됨을 주목하여야 한다.
또한, 전원 공급 및 충전 제어 회로(85)는 I/O 제어기(73)의 제어 하에서 배터리 커넥터(29) (도 3)에 연결된 배터리 팩(30)의 충전을 제어한다.
I/O 제어기(73)는 마이크로콘트롤러, I/O 인터페이스, CPU, ROM, RAM 등으로 구성되고, 플래쉬 메모리(79)에 저장된 BIOS(basic input/output system)를 기초로 액정 디스플레이(10) 및 HDD(67)와 같은 다양한 주변 기기 및 OS와 응용 소프트웨어 사이의 데이터 입출력을 제어한다.
또한, I/O 제어기(73)는 적외선 포트(18)에 연결되어, 예를 들면 또 다른 컴퓨터 장치와 적외선 통신을 실행할 수 있다.
더욱이, I/O 제어기(73)는 촬상부(11)가 180도만큼 액정 디스플레이(10)의 뒷면쪽으로 회전될 때 켜지는 반전 스위치(77)에 연결된다. 이 때, I/O 제어기(73)는 PCI-ISA 브릿지(66) 및 호스트-PCI 브릿지(54)를 통하여 이러한 상황을 CPU(50)에 알린다.
또한, I/O 제어기(73)는 전 푸시/반 푸시(full push/half push) 스위치(78)에 연결되고, 전 푸시/반 푸시 스위치(78)는 본체(2)의 상단면에 제공된 셔터 버튼(9)이 반정도 눌려질 때 반 푸시 상태가 된다. 이 때, I/O 제어기(73)는 이러한 상황을 CPU(50)에 알린다. 한편, 스위치(78)는 버튼(9)이 완전히 눌려질 때 전 푸시 상태가 되고, 이 때 I/O 제어기(73)는 이러한 상황을 CPU(50)에 알린다.
보다 상세히는, CPU(50)가 RAM(53)에서 HDD(67)의 하드 디스크로부터 캡처 소프트웨어가 기동되는 상태에서 사용자가 셔터 버튼(9)을 반 정도 누를 때 정지화상 모드로 들어가, 정지 화상을 촬상하도록 CCD 카메라(8)를 제어하고, 이어서 셔터 버튼(9)이 완전히 눌려질 때, 촬상된 정지 화상 데이터를 캡처하여 이를 비디오 제어기(56)에 전달한다.
반대로, CPU(50)는 캡처 소프트웨어를 기동하지 않고 사용자가 셔터 버튼(9)을 완전히 누를 때 동화상 모드로 들어가, 최대 60초 동안 동화상을 캡처하고 이를 비디오 제어기(56)에 전달한다.
부언하자면, I/O 제어기(73)의 ROM은 시동(wakeup) 프로그램, 키 입력 모니터 프로그램, LED 제어 프로그램, 조그 다이얼 상태 모니터 프로그램, 및 다른 다양한 제어 프로그램을 저장한다.
여기서, 조그 다이얼 상태 모니터 프로그램은 HDD(67)의 하드 디스크에 저장된 조그 다이얼 서버 프로그램과 동반되어 사용되는 프로그램으로, 조그 다이얼(24)이 회전되는가 눌려지는가 여부를 모니터하도록 의도된다.
시동 프로그램은 CPU(50)의 제어 하에서 PCI-ISA 브릿지(66)의 RTC 회로로부터의 현재 시간이 미리 설정된 시작 시간과 일치할 때 소정의 처리를 실행하는 프로그램이다. 키 입력 모니터 프로그램은 조작 키(4) 및 다른 다양한 키 스위치로부터의 입력을 모니터하는 프로그램이다. LED 제어 프로그램은 전원 램프(PL), 배터리 램프(BL), 및 메시지 램프(ML) (도 1)와 같은 다양한 램프의 점화를 제어하는 프로그램이다.
또한, I/O 제어기(73)의 RAM은 조그 다이얼 상태 모니터 프로그램을 위한 I/O 레지스터, 시동 프로그램을 위한 설정 시간 레지스터, 키 입력 모니터 프로그램을 위한 키 입력 모니터 레지스터, LED 제어 프로그램을 위한 LED 제어 레지스터, 및 다른 다양한 프로그램을 위한 레지스터를 구비한다.
설정 시간 레지스터는 시동 프로그램에서 사용되기 위해 사용자에 의해 미리 설정된 시작 시간에 대한 시간 정보를 저장한다. 그러므로, I/O 제어기(73)는 RTC 회로로부터의 현재 시간이 시동 프로그램을 기초로 미리 설정된 시작 시간과 일치하는가 여부를 판단하고, 이들이 서로 일치할 때, 레지스터는 이러한 상황을 CPU(50)에 알린다.
이 때, CPU(50)는 미리 설정된 시작 시간에 소정의 응용 소프트웨어를 기동하고, 응용 소프트웨어에 따라 소정의 처리를 실행한다.
또한, 키 입력 모니터 레지스터는 조작 키(4), 스틱(5), 좌측 클릭 버튼(5A), 우측 클릭 버튼(5B), 중앙 버튼(5C) 등의 입력 조작에 대응하는 조작 키 플래그를 저장한다.
그러므로, I/O 제어기(73)는 키 입력 모니터 프로그램에 따라, 조작 키 플래그를 기초로 스틱(5)이 지시되는가, 또는 좌측 클릭 버튼(5A), 우측 클릭 버튼(5B), 또는 중앙 버튼(5C)이 클릭되었나 여부를 판단하고, 지시 또는 클릭 동작이 실행되었을 때, I/O 제어기(73)는 이러한 상황을 CPU(50)에 알린다.
여기서, 이 지시 조작은 손가락으로 스틱(5)을 상하 좌우 조작하여 화면 상에서 마우스 커서를 원하는 위치로 이동시키는 조작을 말하고, 클릭 조작은 손가락으로 좌측 클릭 버튼(5A) 또는 우측 클릭 버튼(5B)을 신속하게 눌렀다 떼는 조작을 말한다.
이 때, CPU(50)는 지시 조작이나 클릭 조작에 의한 커서의 이동에 따라 소정의 처리를 실행한다.
또한, LED 제어 레지스터는 전원 램프(PL), 배터리 램프(BL), 및 메시지 램프(ML)와 같은 다양한 램프의 점화 상태를 나타내는 점화 플래그를 저장한다.
그러므로, I/O 제어기(73)는 점화 플래그를 저장하고 점화 플래그를 기초로 LED(81)를 제어한다. 예를 들면, CPU(50)가 조그 다이얼(24)의 푸시 조작에 응답하여 HDD(67)의 하드 디스크로부터 전자 메일 프로그램을 기동하고 전자 메일 프로그램에 따라 전자 메일을 수신할 때, I/O 제어기(73)는 메시지 램프(ML)를 점화한다.
또한, 조그 다이얼 상태 모니터 프로그램을 위한 I/O 레지스터는 조그 다이얼(24)의 회전 및 푸시 조작에 대응하여 회전 플래그 및 푸시 플래그를 저장한다.
그러므로, 회전 검출부(88)에 연결된 조그 다이얼(24)을 회전시키고 눌러서 복수의 메뉴 항목 중 사용자에 의해 원하는 메뉴 항목이 선택될 때, I/O 제어기(73)는 I/O 레지스터에 저장된 회전 플래그 및 푸시 플래그를 설정하고, 이러한 상황을 CPU(50)에 알린다.
그래서, CPU(50)는 HDD(67)로부터 판독되고 RAM(53)에서 기동되는 조그 다이얼 서버 프로그램에 따라, 소정의 처리를 실행하도록 조그 다이얼(24)을 회전시키고 누름으로써 결정된 메뉴 항목에 대응하여 응용 소프트웨어를 기동한다.
여기서, I/O 제어기(73)는 전원 스위치(7)가 오프(OFF) 상태이고 OS가 활성이지 않더라도 언제나 전원 공급 및 충전 제어 회로(85)의 제어 하에서 동작하므로, 사용자가 원하는 응용 소프트웨어나 스크립 파일은 특수 키를 제공하지 않고 전원 절약 상태나 전원-오프 상태에서 조그 다이얼(24)을 누름으로써 기동될 수 있다.
또한, I/O 제어기(73)는 또한 I2C 버스(82)와 연결되고, 조작 키(4)나 조그 다이얼(24)에 의해 설정된 CCD 카메라(8)에 대해 다양한 설정 매개 변수를 I2C 버스(82)를 통해 공급함으로써 CCD 카메라(8)에서 밝기 및 대비를 조정한다.
(1-3) 행위(gesture) 인식 처리
이러한 구성에 부가하여, 노트북 PC(1)는 HDD(67)의 하드 디스크로부터 CCD 카메라(8)에 의해 촬영된 사용자의 손 동작 (행위)을 인식하는 사이버 행위 프로그램(cyber gesture program)이라 칭하여지는 응용 소프트웨어를 기동하고, 사이버 행위 프로그램에 따라 CCD 카메라(8)에 의해 촬영된 사용자의 손 동작을 인식하며, 응용 소프트웨어 기반의 활성 윈도우 화면에서 인식 결과에 따른 소정의 처리를 실행한다.
보다 상세히는, 예를 들어 촬영된 정지 화상을 처리할 수 있는 영상 편집 프로그램을 기동하고, 처리될 정지 화상을 선택하기 위해 HDD(67)의 하드 디스크에 저장된 복수의 정지 화상을 액정 디스플레이(10)에 순차적으로 디스플레이하는 경우, 노트북 PC(1)는 사용자에 의한 조그 다이얼(24)의 회전 조작에 응답하여 액정 디스플레이(10)에 디스플레이된 정지 화상을 하나씩 전진 재생하는 것과 같은 영상 포워드(forward) 조작을 실행한다. 그러나, 본 발명은 CPU(50)로 하여금 CCD 카메라(8)에 의해 촬영된 사용자의 손 동작을 인식하게 함으로써, 조그 다이얼(24)을 접촉시키지 않고 CPU(50)의 제어 하에서 상술된 영상 포워드 조작이 실행되도록 한다.
부언하자면, 노트북 PC(1)는 조그 다이얼(24)이 소정의 각도 이상으로 사용자로부터 깊이 방향으로 더 회전될 때 정지 화상을 오직 하나씩 액정 디스플레이(10)에서 전진시키고, 반대로 조그 다이얼(24)이 소정의 각도 이상으로 사용자 방향으로 회전될 때는 정지 화상을 오직 하나씩만 액정 디스플레이(10)에서 재생한다.
실제로, 노트북 PC(1)의 CPU(50)는 도 5의 시작 단계에서 루틴 RT1으로 들어가 다음 단계 SP1으로 이동되어, 사용자의 조작에 의해 HDD(67)의 하드 디스크로부터 사이버 행위 프로그램을 기동하며, 사이버 행위 프로그램에 따라 도 6에 도시된 바와 같이 행위 인식 화면(100)을 생성하고, 이어서 영상 편집 프로그램에 따라 활성 윈도우 화면의 정지 화상에 이를 오버랩하여 디스플레이한 이후에 다음 단계 SP2로 이동한다.
여기서, 도 7에 도시된 바와 같이, 행위 인식 화면(100)은 화면 크기가 164 ×136 픽셀이고, 상단에는 사이버 행위 프로그램을 나타내는 "CYBERGESTURE" (소니사의 상표명)의 제목 문자부(101), 기능을 옵션으로 선택하는 옵션 버튼(102), 도움말 버튼(103), 최소화 버튼(104), 및 닫힘 버튼(105)이 제공된다.
이 행위 인식 화면(100)은 활성 윈도우 화면에서 행위 인식 화면(100) 뒤에 디스플레이되는 정지 화상을 가리는 영역이 가능한 한 작아지도록 액정디스플레이(10) (1,024 ×480 픽셀) 보다 훨씬 더 작은 화면 크기로 형성된다.
또한, 마우스 커서가 행위 인식 화면(100) 상의 옵션 버튼(102), 도움말 버튼(103), 최소화 버튼(104), 및 닫힘 버튼(105) 중 임의의 것에 놓일 때, 노트북 PC(1)의 CPU(50)는 그 버튼을 볼록 상태로 디스플레이하고, 클릭하여 선택된 이후에는 이를 오목 상태로 디스플레이하므로, 버튼의 선택 및 결정 조작이 용이하고 시각적으로 인식되게 한다.
또한, 노트북 PC(1)의 CPU(50)는 256 레벨의 그레이 스케일로 행위 인식 화면(100) 상에 행위 인식 디스플레이 영역(106)을 디스플레이하고, 또한 행위 인식 디스플레이 영역(106)의 중심에서 거의 수평선으로 배열된 5개의 사각 타겟(107A 내지 107E)으로 구성된 타겟부(107)를 디스플레이한다.
그래서, CPU(50)는 행위 인식 화면(100) 상의 행위 인식 디스플레이 영역(106)에 디스플레이된 타겟부(107)를 사용함으로써, 노트북 PC(1)가 사용자의 좌우 손 동작을 인식할 수 있음을 사용자에게 용이하게 시각적으로 보여줄 수 있다.
또한, 각 타겟(107A 내지 107E)은 크기가 8 ×8 픽셀이고, 1 픽셀 폭의 프레임(107AF 내지 107EF)을 구비한다. 프레임(107AF 내지 107EF)은 타겟(107A 내지 107E)이 그레이 스케일 디스플레이보다 시각적으로 현저하게 두드러지도록 빨간색으로 표시된다.
또한, 행위 인식 화면(100) 상의 행위 인식 디스플레이 영역(106)은 2개의 수평 주사선마다 검정색 선(도시되지 않음)을 가지므로, 사용자는 일반 영상을 도시하는 화면과 다른 행위 인식 화면(100)으로 이 영역을 용이하게 인식할 수 있다.
단계 SP2에서, CPU(50)는 CCD 카메라(8)로 디스플레이부(3)의 전면부에 존재하는 사용자를 촬영하고, 그 결과로 얻은 입력 영상을 행위 인식 화면(100) 상의 행위 인식 디스플레이 영역(106)에 디스플레이하며, 이어서 다음 서브루틴 SRT2로 이동한다.
도 9에 도시된 바와 같이, 서브루틴 SRT2의 단계 SP21에서, CPU(50)는 행위 인식 화면(100) 상의 행위 인식 디스플레이 영역(106)에 디스플레이된 입력 영상을 칼라 성분을 기초로 복수의 칼라 영역으로 분할하고, 이어서 다음 단계 SP22로 이동한다.
부언하자면, 칼라 영역은 도 10에 도시된 바와 같이, 소정의 YUV 색채 공간(chromatic space)으로 표시된다. 예를 들면, YUV 색채 공간에서 타원형 선으로 표시되는 사분면 +Y, -U, 및 -V 중 소정의 면적은 사용자의 손바닥 색깔과 똑같은 칼라 영역(R) (이하, 피부-칼라 영역(R)이라 칭함)으로 간주된다.
단계 SP22에서, CPU(50)는 YUV(밝기, 색차) 색채 공간에서 피부-칼라 영역(R)에 대응하는 소정의 피부-칼라 테이블을 입력 영상의 대응하는 칼라 영역과 비교하고, 이어서 다음 단계 SP23로 이동한다.
이러한 경우, 입력 영상의 칼라 영역은 대략 사용자의 얼굴 영역 및 손바닥 영역과 같은 피부-칼라 영역(R) 및 옷과 같은 비피부-칼라 영역으로 나뉜다.
단계 SP23에서, CPU(50)는 피부-칼라 테이블을 입력 영상의 칼라 영역과 비교함으로써, 피부-칼라 영역으로 인식되는 피부-칼라 영역(R)이 입력 영상에 존재하는가 여부를 판단한다.
여기서 부정적인 결과가 얻어지면, 이는 피부-칼라 테이블과 정합되는 피부-칼라 영역(R)이 입력 영상에 존재하지 않음을 나타내고, 이어서 CPU(50)는 다음 단계 SP29로 이동한다.
단계 SP29에서, 피부-칼라 영역(R)이 입력 영상에 존재하지 않고 사용자의 손 동작이 인식될 수 없으므로, CPU(50)는 다음 프레임의 영상 입력으로 이동하여, 상술된 단계 SP21로 복귀한다.
반대로, 단계 SP23에서 긍정적인 결과가 얻어지면, 이는 피부-칼라 테이블과 정합되는 피부-칼라 영역(R)이 존재함을 나타내고, 이어서 CPU(50)는 다음 단계 SP24로 이동한다.
단계 SP24에서, CPU(50)는 현재 프레임과 이전 프레임 사이의 좌표값 변화를 기초로 현재 프레임의 입력 영상에서 피부-칼라 영역(R)의 이동을 검출하고, 이어서 다음 단계 SP25로 이동한다.
단계 SP25에서, CPU(50)는 이동하는 피부-칼라 영역(R)이 입력 영상에 존재하는가 여부를 판단한다. 여기서 부정적인 결과가 얻어지면, 이는 이동하는 피부-칼라 영역(R)이 입력 영상에 존재하지 않음을 나타내고, 이어서 CPU(50)는 다음 단계 SP29로 이동하여 다음 프레임의 입력 영상으로 진행되어 상술된 단계 SP21로 복귀한다.
반대로, 단계 SP25에서 긍정적인 결과가 얻어지면, 이는 이동하는 피부-칼라 영역(R)이 입력 영상에 존재함을 나타내고, 이어서 CPU(50)는 다음 단계 SP26로 이동한다.
단계 SP26에서, CPU(50)는 이동하는 피부-칼라 영역(R) 중에서 가장 큰 피부-칼라 영역(R)을 검출하여 이를 손바닥 영역이라 간주하고, 이어서 다음 단계 SP27로 이동한다.
단계 SP27에서, CPU(50)는 단계(SP26)에서 판단된 전체적인 손바닥 영역의 좌표값을 구하고, 이어서 다음 단계 SP28로 이동한다.
단계 SP28에서, CPU(50)는 단계 SP27에서 구해진 전체적인 손바닥 영역의 좌표값을 기초로 손바닥 영역의 무게 중심을 계산하고, 무게 중심에 대해 수직 방향으로 손바닥 영역의 최상단 좌표를 손의 손가락 끝과 같은 무게 중심의 상부 데이터로 검출하여, 서브루틴 SRT2에서 손 위치에 대한 정보를 구하는 과정을 종료하고, 이어서 루틴 RT1의 단계 SP3 (도 5)로 복귀한다.
단계 SP3에서, CPU(50)는 서브루틴 SRT2에서 구해진 무게 중심의 상부 데이터를 기초로 행위 인식 화면(100) 상의 행위 인식 디스플레이 영역(106)에 사용자의 손이 존재하는가 여부를 판단한다.
여기서 부정적인 결과가 얻어지면, 이는 무게 중심의 상부 데이터가 서브루틴 SRT2에서 구해지지 않음 즉, 사용자의 손이 행위 인식 화면(100) 상의 행위 인식 디스플레이 영역(106)에 존재하지 않음을 나타내고, 이어서 CPU(50)는 다음 단계 SP4로 이동한다.
단계 SP4에서, CPU(50)는 사용자의 손이 행위 인식 화면(100) 상의 행위 인식 디스플레이 영역(106)에 디스플레이되지 않으므로 사용자의 손을 탐색하는 중임을 나타내는 애니메이션을 디스플레이하고, 이어서 상술된 단계 SP2로 복귀한다.
이 경우, 도 11에 도시된 바와 같이, CPU(50)는 사용자의 피부-칼라 부분이 행위 인식 화면(100) 상의 행위 인식 디스플레이 영역(106)에 거의 디스플레이되지 않아 사용자의 손이 아직 인식되지 않았으므로, 피부-칼라 영역(R)을 탐색하는 중임을 사용자가 쉽게 인식하게 하도록 타겟부(107)를 사용하여 애니메이션을 디스플레이할 수 있다.
보다 상세히는, CPU(50)가 타겟(107A 내지 107E)의 (빗금쳐 도시된) 프레임(107AF 내지 107EF) 내부 영역을 화살표 A 및 B로 나타내지는 좌우측 방향으로 순차적으로 번갈아 빨간색으로 표시함으로써 등급 효과를 만들어, 사용자는 사이버 행위 프로그램이 기동되어 사용자의 손을 탐색하는 중임을 쉽게 볼 수 있다.
반대로, 단계 SP3에서 긍정적인 결과가 얻어지면, 이는 무게 중심의 상부 데이터가 서브루틴 SRT2에서 구해졌음 즉, 사용자의 손이 행위 인식 화면(100) 상의 행위 인식 디스플레이 영역(106)에 존재함을 나타내고, 이어서 CPU(50)는 다음 단계 SP5로 이동한다.
단계 SP5에서, 도 12에 도시된 바와 같이, CPU(50)는 구해진 무게 중심의 상부 데이터에 대응하는 위치에 소정의 형상의 포인터(108)를 디스플레이하고, 또한 행위 인식 디스플레이 영역(106)의 입력 영상에, 전체적인 사용자 손바닥 영역을 덮고 포인터(108)를 포함하는 손바닥 인식 프레임(109)을 오버랩하여 디스플레이하여, 다음 서브루틴 SRT3으로 이동한다.
여기서, CPU(50)는 1 픽셀 폭의 손바닥 인식 프레임(109)을 흰색으로 표시하고, 타겟부(107)의 타겟(107A 내지 107E)과 똑같은 형상 및 크기인 포인터(108)의 1 픽셀 폭의 포인터 프레임(108F)을 흰색으로 표시하며, 그 내부를 빨간색으로 표시한다.
그 결과, CPU(50)는 타겟(107A 내지 107E)의 프레임(107AF 내지 107EF)을 빨간색으로 표시하고 포인터(108)의 포인터 프레임(108F)을 흰색으로 표시함으로써 사용자가 타겟(107A 내지 107E)과 포인터(108) 사이를 명확하게 구별하게 할 수 있다.
또한, CPU(50)는 사용자 손의 이동과 함께 이동시키면서 손바닥 인식 프레임(109) 및 포인터(108)를 디스플레이한다.
도 13에 순서대로 도시된 바와 같이, 서브루틴 SRT3의 단계 SP31에서, CPU(50)는 인접한 프레임 사이 즉, RAM(53)에 링 버퍼 형태로 저장된 현재 프레임과 그 현재 프레임에 인접한 이전 프레임 사이에 무게 중심 상부 데이터의 좌표값 차이를 기초로 손가락 끝부분 이동의 거리를 구하고, 이어서 다음 단계 SP32로 이동한다.
단계 SP32에서, CPU(50)는 단계 SP31에서 계산된 손가락 끝부분 이동 거리가 소정의 최대 임계값 이하인가 여부를 판단한다. 여기서 부정적인 결과가 얻어지면, 이는 이전 프레임에서의 손가락 끝부분을 나타내는 위치와 현재 프레임에서 손가락 끝부분을 나타내는 위치 사이가 매우 멀기 때문에 손의 이동을 인식하기 위한 데이터로 손가락 끝부분 이동 거리가 불충분함을 나타내고, 이어서 CPU(50)는 다음 단계 SP33로 이동한다.
단계 SP33에서, CPU(50)는 손가락 끝부분 이동 거리가 데이터로 사용하기에 불충분하므로 단계 SP34 이후에 인접한 프레임 사이의 손가락 끝부분 이동 거리를 계산하는 것을 중지하고, 상술된 처리를 반복하도록 루틴 RT1 (도 5)의 단계 SP2로 복귀한다.
반대로, 단계 SP32에서 긍정적인 결과가 얻어지면, 이는 이전 프레임에서 손가락 끝부분을 나타내는 위치와 현재 프레임에서 손가락 끝부분을 나타내는 위치 사이가 너무 멀지 않으므로 손의 이동을 인식하기 위한 데이터로 손가락 끝부분 이동 거리가 충분함을 나타내고, 이어서 CPU(50)는 다음 단계 SP34로 이동한다.
단계 SP34에서, 도 14에 도시된 바와 같이, CPU(50)는 링 버퍼 형태로 순차적으로 저장된, 소정의 시간 동안의 수개의 과거 프레임 중에서 선택된 임의의 과거 프레임에서 손가락 끝부분을 나타내는 무게 중심의 상부 데이터와 현재 프레임에서 손가락 끝부분을 나타내는 무게 중심의 상부 데이터 사이의 좌표값 중 가장 긴 길이를 손가락 끝부분의 최장 이동 거리로 구하고, 손가락 끝부분의 최장 이동 거리가 소정의 최소 임계값보다 더 큰가 여부를 판단한다.
여기서 부정적인 결과가 얻어지면, 이는 복수의 프레임에 걸친 입력 영상의 상태 전이를 기초로 하는 손가락 끝부분의 최장 이동 거리가 소정의 최소 임계값보다 더 작음 즉, 손의 이동이 인식되기에 충분하지 않음을 나타내고, CPU(50)는 인식 처리로부터 손가락 끝부분의 최장 이동 거리를 제외하고, 상술된 처리를 반복하도록 단계 SP31로 복귀한다.
반대로, 단계 SP34에서 긍정적인 결과가 얻어지면, 이는 손가락 끝부분의 최장 이동 거리가 소정의 최소 임계값보다 더 큼 즉, 손가락 끝부분이 좌측 또는 우측으로 이동되었음을 나타내고, 이어서 CPU(50)는 다음 단계 SP35로 이동한다.
단계 SP35에서, CPU(50)는 손가락 끝부분의 최장 이동 거리를 계산할 때 사용되었던 과거 프레임에서 손가락 끝부분을 나타내는 무게 중심의 상부 데이터와 현재 프레임에서 손가락 끝부분을 나타내는 무게 중심의 상부 데이터 사이의 이동 벡터를 기초로 손가락 끝부분의 이동 방향 (우측 또는 좌측)을 검출하고, 이어서 루틴 RT1 (도 5)의 단계 SP6로 복귀한다.
CPU(50)가 손가락 끝부분의 최장 이동 거리 및 그 이동 방향을 검출하였으므로, 단계 SP6에서는 검출된 전체 손바닥 중 이전 프레임의 픽셀 데이터와 현재 프레임의 픽셀 데이터 사이의 좌표값에서 단위 시간 당 그 변화를 기초로 검출된 전체 손바닥의 이동 속도가 소정의 속도를 넘는가 여부를 판단한다.
여기서 부정적인 결과가 얻어지면, 이는 검출된 전체 손바닥의 이동 속도가 소정의 속도를 넘지 않음 즉, 다소 느리게 이동하고 있으므로 실제로 손바닥 보다는 얼굴 영역이 될 수 있음을 나타내고, 상술된 처리를 반복하도록 다시 단계 SP2로 복귀한다.
반대로, 단계 SP6에서 긍정적인 결과가 얻어지면, 이는 검출된 전체 손바닥의 이동 속도가 소정의 속도를 넘음 즉, 다소 빠르게 이동하고 있으므로 손바닥 영역일 가능성이 훨씬 많음을 나타내고, 다음 단계 SP7로 이동한다.
상기 처리에서, CPU(50)는 손바닥 영역 같이 보이는 후보가 2개 이상 있는 경우에 훨씬 더 정확하게 손바닥 영역 및 얼굴 영역을 결정할 수 있다.
단계 SP7에서, 도 15에 도시된 바와 같이, CPU(50)는 조그 다이얼(181)을 위한 API(application programming interface)를 통해 사이버 행위 프로그램(180)에 의해 인식된 손바닥 행위 이동의 인식 결과를 조그 다이얼 서버 프로그램(182)에 공급하고, 또한 행위 인식 화면(100)에, 노트북 PC(1)가 행위를 인식하는 방법을 나타내는 인식 과정 및 사용자에 의해 이동된 손의 이동 (행위)을 나타내는 궤적의 시각적 피드백 디스플레이를 실행하여, 다음 단계 SP8로 이동한다.
여기서, API는 OS에 의한 응용 소프트웨어의 프로그램 인터페이스로, 응용 소프트웨어는 기본적으로 API를 통해 모든 처리를 실행한다. 부언하자면, 기존의 일반 OS의 API는 함수의 형태를 취하고, 적절한 독립 변수(매개 변수)는 API의 기능을 기동시키도록 응용 소프트웨어에 의해 지정된다.
부언하자면, CPU(50)는 똑같은 입력 형태로 사이버 행위 프로그램(180)에 의해 인식 결과 및 조그 다이얼(24)의 조작을 취하고, 이들을 조그 다이얼(181)을 위한 공통 API를 통해 조그 다이얼 서버 프로그램(182)에 공급하여, 소프트웨어 처리가 간략화되도록 한다.
실제로, CPU(50)는 도 16a에 도시된 바와 같은 시각적 피드백 화면(191)을 생성하고, 사용자가 시각적 피드백 화면(191)에서 사용자의 손 동작을 실제로 인식하는 과정을 시각적으로 점검할 수 있도록 사용자에 의해 실제 이동되는 손 동작 (행위)을 나타내는 궤적에 따라 화살표 C의 방향으로 이동하면서 궤적 디스플레이 프레임(120)에서 미리 비스듬히 배치된 타겟(107A 내지 107E)에 오버랩되어 포인터(108)를 디스플레이한다.
이어서, CPU(50)는 도 16b에 도시된 바와 같은 시각적 피드백 화면(192)을 생성하고, 이를 시각적 피드백 화면(191)과 대치하여 디스플레이한다.
이 시각적 피드백 화면(192)은 타겟(107A 내지 107E)이 수평선에 배열되는 방향 디스플레이 프레임(121)을 형성하도록 시각적 피드백 화면(191)의 궤적 디스플레이 프레임(120)을 변형시키고, 또한 방향 디스플레이 프레임(121)을 사용하여 화살표 D 방향 (우측에서 좌측)으로 사용자의 손이 이동되었음을 단편적으로 나타내도록 방향 디스플레이 프레임(121)의 우측 끝부분에 타겟(107E)을 디스플레이하고 좌측 끝부분에 포인터(108)를 디스플레이한다.
마지막으로, CPU(50)는 도 16c에 도시된 바와 같은 시각적 피드백 화면(193)을 생성하고, 이를 시각적 피드백 화면(192)과 대치하여 디스플레이한다.
이 시각적 피드백 화면(193)은 시각적 피드백 화면(192) 상의 방향 디스플레이 프레임(121)을 제거하고, 이어서 화살표 D로 도시된 방향으로, 수평선에 배열되는 타겟(107A 내지 107E)에 포인터(108)를 순차적으로 이동시켜 디스플레이하므로, 사용자는 노트북 PC(1)가 우측에서 좌측으로 (화살표 D로 도시된 방향으로) 사용자 손이 이동됨을 인식하였음을 용이하게 알 수 있다.
또한, 화살표 D로 도시된 방향으로 타겟(107A 내지 107E)에 포인터(108)를 이동시켜 디스플레이하는 경우에, CPU(50)는 인식된 사용자 손의 이동과 똑같은 속도로 포인터(108)를 이동시키므로, 사용자는 노트북 PC(1)가 처리할 수 있는 손의 이동 속도를 알 수 있다.
단계 SP8에서, CPU(50)는 사용자 손의 이동을 인식하고, 손 이동에 대응하는소정의 명령을 조그 다이얼 서버 프로그램(182) (도 15)에서 응용 소프트웨어(183)로 공급하여 소정의 처리를 실행한다. 그러나, CPU(50)는 인식 결과에 따라 소정의 처리를 실행하고 있으므로, 손 이동을 인식한 직후에 수개의 프레임의 입력 영상에 대해 행위 인식 처리를 실행하지 않고, 상술된 처리를 반복하도록 다시 단계 SP2로 복귀한다.
이 방법에서, CPU(50)는 오동작 없이 활성 윈도우에서 사용자 손의 이동에 따라 처리를 실행하고, 이어서 사용자 손의 다음 이동에 따라 처리를 실행할 수 있다.
상술된 바와 같이, 노트북 PC(1)의 CPU(50)는 사이버 행위 프로그램(180)에 의해 사용자 손의 이동을 인식하고, 이어서 인식 결과에 대응하는 소정의 명령을 조그 다이얼 서버 프로그램(182)에 의해 응용 소프트웨어(183)로 공급하여, 응용 소프트웨어(183)를 기초로 하는 활성 윈도우 화면에서 그 명령에 따라 소정의 영상 포워드 조작을 실행한다.
실제로, 노트북 PC(1)의 CPU(50)는 손의 행위가 좌측에서 우측으로 (화살표 D와 반대 방향으로) 이동됨을 인식하는 경우 행위 인식 화면(100)에서 배경으로 디스플레이되는 활성 윈도우 화면에 단 하나씩 정지 화상을 전하고, 한편으로 손의 행위가 우측에서 좌측으로 (화살표 D로 도시된 방향으로) 이동됨을 인식하는 경우 행위 인식 화면(100)에서 배경으로 디스플레이되는 활성 윈도우 화면에 단 하나씩 정지 화상을 재생한다.
이 방법에서, 사용자는 조그 다이얼(24)을 집적 조작하지 않더라도, 단지 촬상부(11)의 CCD 카메라(8)를 통해 손을 보유하고 우측 또는 좌측으로 이동함으로써, 행위 인식 화면(100)에서 배경으로 디스플레이되는 활성 윈도우 화면에 정지 화상을 전하거나 재생할 수 있다.
(1-4) 제1 실시예에서의 동작 및 효과
상기의 구조로, 노트북 PC(1)의 CPU(50)는 영상 편집 프로그램이 기동되고 활성 윈도우 화면이 액정 디스플레이(10)에 디스플레이된 상태에서 사이버 행위 프로그램(180)을 시작함으로써 활성 윈도우 화면에, 행위 인식 화면(100)이 오버랩되는 정지 화상을 디스플레이한다.
노트북 PC(1)의 CPU(50)는 촬상부(11)의 CCD 카메라(8)로 디스플레이부(3)의 앞에 존재하는 사용자를 촬영하고, 결과의 입력 영상을 행위 인식 화면(100) 상의 행위 인식 디스플레이 영역(106)에 디스플레이한다.
이 때, 사용자 손의 이동을 인식하기 위해, 노트북 PC(1)의 CPU(50)는 먼저 피부-칼라 영역(R)을 찾도록 행위 인식 디스플레이 영역(106)의 입력 영상을 복수의 칼라 영역으로 분할한다. CPU(50)가 피부-칼라 영역(R)을 검출할 수 없으면, 이는 타겟부(107) (도 11)의 타겟(107A 내지 107E)의 프레임(107AF 내지 107EF) 내부 영역을 화살표 A 및 B로 나타내지는 좌우측 방향으로 순차적으로 번갈아 빨간색으로 표시함으로써 등급 효과를 만들어, 사용자는 사용자의 손을 탐색하는 중임을 쉽게 볼 수 있다.
이 방법에서, 노트북 PC(1)의 CPU(50)는 손의 이동을 아직 인식하지 않았음을 사용자가 인식하게 할 수 있으므로, CCD 카메라(8)를 통해 손을 유지하고 좌측또는 우측으로 이동하는 것과 같은 입력 조작을 실행하도록 사용자에게 즉시 촉구할 수 있다.
그래서, 노트북 PC(1)의 CPU(50)는 짧은 시간에 사용자 손의 이동을 인식하고, 인식된 손의 이동에 따라 명령을 생성하고, 그 명령에 응답하여 활성 윈도우 화면에 디스플레이되는 정지 화상을 전달 또는 재생할 수 있다.
상기의 구성에 따라, 노트북 PC(1)가 CCD 카메라(8)에 의해 촬영된 사용자 손의 이동을 인식하지 못한 경우, 이는 타겟(107A 내지 107E)의 프레임(107AF 내지 107EF) 내부 영역을 화살표 A 및 B로 나타내지는 좌우측 방향으로 순차적으로 번갈아 빨간색으로 표시함으로써 사용자의 손을 찾고 있고 인식가능한 대기 상태에 있음을 사용자에게 확실히 알려줄 수 있다.
또한, 상기 구성에서, 노트북 PC(1)의 CPU(50)는 영상 편집 프로그램이 기동되고 활성 윈도우 화면이 액정 디스플레이(10) 상에 디스플레이된 상태에서 사이버 행위 프로그램(180)을 시작함으로써 활성 윈도우 화면 상에, 행위 인식 화면(100)이 오버랩된 정지 화상을 디스플레이한다.
이 때, 노트북 PC(1)의 CPU(50)는 수평선에 순차적으로 배열된 5개의 사각 타겟(107A 내지 107E)으로 구성된 타겟부(107)를 행위 인식 화면(100) 상의 행위 인식 디스플레이 영역(106)에서 중심 부근에 디스플레이한다.
그에 의해, 노트북 PC(1)의 CPU(50)는 사용자 손의 이동 방향 중에서 노트북 PC(1)가 좌우측 이동을 인식할 수 있음을 사용자가 쉽게 볼수 있게 하므로, CPU(50)는 인식가능한 이동 방향을 사용자에게 미리 확실하게 알려줄 수 있다.
또한, 노트북 PC(1)의 CPU(50)는 사용자가 타겟(107A 내지 107E)을 배경의 그레이 스케일 디스플레이와 시각적으로 구별할 수 있도록 타겟(107A 내지 107E)의 프레임(107AF 내지 107EF)을 빨간색으로 표시할 수 있다.
상기 구성에 따라, 노트북 PC(1)는 사이버 행위 프로그램(180)에 의해, 수평선에 순차적으로 배열된 5개의 사각 타겟(107A 내지 107E)으로 구성된 타겟부(107)를 행위 인식 화면(100) 상의 행위 인식 디스플레이 영역(106)에서 중심 부근에 디스플레이함으로써 노트북 PC(1)가 사용자 손의 이동 방향 중에서 좌우측 방향을 인식할 수 있음을 사용자에게 미리 확실하게 알려줄 수 있다.
더욱이, 상기 구성에서, 노트북 PC(1)의 CPU(50)는 영상 편집 프로그램이 기동되고 활성 윈도우 화면이 액정 디스플레이(10) 상에 디스플레이된 상태에서 사이버 행위 프로그램(180)을 시작함으로써 활성 윈도우 화면 상에 행위 인식 화면(100)이 오버랩된 정지 화상을 디스플레이한다.
노트북 PC(1)의 CPU(50)는 촬상부(11)의 CCD 카메라(8)로 디스플레이부(3)의 앞에 존재하는 사용자를 촬영하고, 그 결과로 얻은 입력 영상을 행위 인식 화면(100) 상의 행위 인식 디스플레이 영역(106)에 디스플레이하며, 또한 사용자 손의 이동을 인식하여 인식된 손의 이동에 따라 명령을 생성한다.
이 때, 노트북 PC(1)의 CPU(50)는 화살표 C로 도시된 방향으로 순차적으로 타겟(107A 내지 107E)에 번갈아 포인터(108)를 이동시켜 디스플레이함으로써 사용자가 사용자 손의 이동에 대한 인식 처리의 궤적을 시각적으로 점검하도록 하기 위해, 사용자에 의해 실제 이루어지는 손의 이동 (행위)을 나타내는 궤적에 대응하여도 16a에 도시된 바와 같이 궤적 디스플레이 프레임(120)에 타겟(107A 내지 107E)을 비스듬히 미리 배치한다.
그 후에, CPU(50)는 타겟(107A 내지 107E)이 수평선에 배열된 상태에서 방향 디스플레이 프레임(121)을 형성하도록 도 16b에 도시된 바와 같이 궤적 디스플레이 프레임(120)을 변형하고, 또한 화살표 D로 도시된 방향으로 (좌측으로) 사용자의 손이 이동되었음을 단편적으로 나타내도록 방향 디스플레이 프레임(121)에서 우측 끝부분에 타겟(107E)을 디스플레이하고 좌측 끝부분에 포인터(108)를 디스플레이한다.
마지막으로, 도 16c에 도시된 바와 같이, CPU(50)는 방향 디스플레이 프레임(121)을 제거하고, 인식된 사용자 손의 이동 속도로 화살표 D로 도시된 방향으로 타겟(107A 내지 107E)에 포인터(108)를 이동시켜 디스플레이하므로, 노트북 PC(1)가 우측에서 좌측으로 (화살표 D로 도시된 방향으로) 사용자 손의 이동을 인식함을 사용자에게 확실하게 알려준다.
상기 구성에 따라, 노트북 PC(1)는 타겟(107A 내지 107E) 및 포인터(108)를 사용하여 애니메이션으로 CCD 카메라(8)에 의해 촬영된 사용자 손의 이동에 대한 인식 결과 및 인식 과정의 궤적을 디스플레이할 수 있으므로, 사용자가 피드백에 의해 사용자 손의 이동이 어떻게 인식되는가 또한 어느 인식 처리에서 인식되었나를 알게 된다.
그래서, 사용자는 손의 이동 속도 및 방향을 고려하여 노트북 PC(1)가 손의 이동을 인식하게 하므로, 예를 들어 영상 전달에 대한 명령의 입력 조작이 짧은 시간에 실행될 수 있다.
(2) 제2 실시예
(2-1) 네트워크 시스템의 전체적인 구성
도 17에서, 참조 번호 200은 본 발명이 적용되는 휴대용 전화기(MS3)를 포함하는 네트워크 시스템을 전체적으로 도시하고, 여기서 고정 라디오국인 베이스국(CS1 내지 CS4)은 통신 서비스 영역을 원하는 크기로 분할하여 구해진 영역에 설정된다.
이들 기지국(CS1 내지 CS4)은 예를 들어 W-CDMA(wideband-code division multiple access)라 칭하여지는 코드 분할 다중 액세스 방법에 의해 이동 무선국인 개인 디지털 보조기(MS1, MS2) 및 카메라가 구비된 디지털 휴대용 전화기(MS3, MS4)에 무선으로 연결되고, 2㎓ 주파수 대역을 사용하여 최대 2Mbps의 데이터 전달 비율로 대량 데이터의 고속 데이터 통신을 실행할 수 있다.
그래서, 개인 디지털 보조기(MS1, MS2) 및 카메라가 구비된 디지털 휴대용 전화기(MS3, MS4)는 W-CDMA 방법에 의해 대량 데이터의 고속 데이터 통신을 실행할 수 있으므로, 오디오 통신에 부가하여, 전자 메일을 송수신하고, 간단한 홈 페이지를 열람하고, 영상을 송수신하는 것과 같은 다양한 데이터 통신을 실현할 수 있다.
또한, 기지국(CS1 내지 CS4)은 유선 회선으로 공중 회선 네트워크(public line network: INW)에 연결되고, 공중 회선 네트워크(INW)는 인터넷(ITN) 및 도시되지 않은 복수의 가입자 유선 단자, 컴퓨터 네트워크, LAN(local area network) 등과 연결된다.
공중 회선 네트워크(INW)는 또한 인터넷 서비스 제공자의 액세스 서버(AS)에 연결되고, 액세스 서버(AS)는 인터넷 서비스 제공자가 소유한 컨텐츠 서버(TS)에 연결된다.
이 컨텐츠 서버(TS)는 가입자의 유선 단자, 개인용 디지털 보조기(MS1, MS2), 및 카메라가 구비된 디지털 휴대용 전화기(MS3, MS4)로부터의 요구에 응답하여 간단한 HTML(hyper text markup language) 포맷의 파일과 같은 간단한 홈 페이지의 컨텐츠를 제공한다.
부언하자면, 인터넷(ITN)은 복수의 WWW 서버(WS1 내지 WSn)에 연결되므로, WWW 서버(WS1 내지 WSn)는 TCP/IP 프로토콜에서 가입자의 유선 단자, 개인용 디지털 보조기(MS1, MS2), 및 카메라가 구비된 디지털 휴대용 전화기(MS3, MS4)로부터 액세스될 수 있다.
부언하자면, 개인용 디지털 보조기(MS1, MS2) 및 카메라가 구비된 디지털 휴대용 전화기(MS3, MS4)가 통신을 실행할 때, 디바이스(MS1 내지 MS4)와 기지국(CS1 내지 CS4) 사이의 통신은 2Mbps의 간단한 운송 프토토콜에서 실행되고, 인터넷(ITN)을 통한 기지국(CS1 내지 CS4)과 WWW 서버(WS1 내지 WSn) 사이의 통신은 TCP/IP 프로토콜에서 실행된다.
또한, 관리 제어 유닛(MCU)은 가입자의 유선 단자, 개인용 디지털 보조기(MS1, MS2), 및 카메라가 구비된 디지털 휴대용 전화기(MS3, MS4)에 대한 식별 및 거래 처리를 실행하도록 공중 회선 네트워크(INW)로 가입자의 유선 단자, 개인용 디지털 보조기(MS1, MS2), 및 카메라가 구비된 디지털 휴대용 전화기(MS3,MS4)에 연결된다.
(2-2) 카메라가 구비된 디지털 휴대용 전화기의 외형
다음으로, 본 발명이 적용되는 카메라가 구비된 디지털 휴대용 전화기(MS3)의 외형을 설명한다. 도 18에 도시된 바와 같이, 카메라가 구비된 디지털 휴대용 전화기는 중심에 있는 경첩부(211)를 경계로 디스플레이부(212)와 본체(213)로 나뉘어, 경첩부(211) 아래로 접히도록 형성된다.
디스플레이부(212)는 안으로 들어가거나 내장되도록 상단 좌측에 설치된 송수신용 안테나(214)를 구비하므로, 무선파가 안테나(214)를 통해 기지국(CS3)과 송수신될 수 있다.
디스플레이부(212)는 또한 대략 180°의 범위 내에서 회전가능하도록 상단 중심부에 설치된 카메라부(215)를 구비하므로, 촬영하고 싶은 소정의 대상이 카메라부(215)의 CCD 카메라(216)에 의해 촬영될 수 있다.
여기서, 사용자에 의해 대략 180°만큼 카메라부(215)가 회전되어 위치하는 경우, 도 19에 도시된 바와 같이 뒷면 중심에 제공되는 디스플레이부(212)의 스피커(217)는 통상의 오디오 통신 상태로 전환되도록 앞에 위치한다.
더욱이, 디스플레이부(212)는 전면에 액정 디스플레이(218)를 구비하므로, 무선파 수신 상태, 남은 배터리 레벨, 접촉자 명, 전화 번호, 전화 번호부로 등록된 내력, 그 외에 전자 메일 내용, 간단한 홈 페이지, 카메라부(215)의 CCD 카메라(216)에 의해 촬영된 영상을 디스플레이할 수 있다.
한편, 본체(213)는 표면에 "0" 내지 "9"의 숫자 키를 포함하는 조작키(219), 호출 키, 재다이얼 키 등을 구비하고, 조작 키(219)를 사용하여 다양한 지시가 입력될 수 있다.
또한, 본체(213)는 조작 키(219) 아래에 메모 버튼(220) 및 마이크로폰(221)을 구비하여, 상대방의 음성이 메모 버튼(220)으로 기록될 수 있고, 호출하는 동안 사용자의 음성이 마이크로폰(221)으로 수집된다.
또한, 본체(213)는 본체(213)로부터 약간 돌출되게 조작 키(219) 위에 회전가능한 조그 다이얼(222)을 구비하고, 이 조그 다이얼(222)의 회전 조작에 의해 액정 디스플레이(218)에 디스플레이된 전화 번호부 목록 및 전자 메일의 스크롤 조작, 간단한 홈 페이지의 페이지 교환 조작, 및 영상 포워드 조작을 포함하는 다양한 조작을 실행한다.
예를 들어, 본체(213)에서, 사용자에 의한 조그 다이얼(222)의 회전 조작에 의해 액정 디스플레이(218)에 디스플레이된 전화 번호부 상의 복수의 전화 번호 중에서 원하는 전화 번호가 선택되고 조그 다이얼(22)이 본체(213)쪽으로 눌려지면, 이는 선택된 전화 번호를 결정하여 자동적으로 그 전화 번호를 호출한다.
또한, 본체(213)는 뒷면에 놓이는 배터리 팩(도시되지 않음)을 구비하고, 클리어 및 전원 키가 온(ON) 상태에서 눌려지면, 전원이 배터리 팩으로부터 각 회로부에 공급되어 동작가능한 상태로 기동된다.
부언하자면, 본체(213)는 좌측의 상단부에 분리가능한 메모리 스틱(Memory Stick, 소니사의 상표명; 223)을 삽입하기 위한 메모리 스틱 슬롯(224)을 구비하므로, 메뉴 버튼(220)을 누르면, 사용자의 조작에 의해 메모리 스틱(223)에 전화기상의 통신 상대의 음성 뿐만 아니라 전자 메일, 간단한 홈 페이지, 및 CCD 카메라(216)에 의해 촬영된 영상을 기록할 수 있다.
여기서, 메모리 스틱(223)은 본 출원자인 소니사에 의해 개발된 플래쉬 메모리 카드의 일종이다. 이 메모리 스틱(223)은 전기적으로 삭제 및 프로그램가능한 판독 전용 메모리(EEPROM)의 일종인 플래쉬 메모리 소자를 포함하는 즉, 전기적으로 재기록 및 삭제가능한 비휘발성 메모리를 포함하는 높이 21.5㎜ ×폭 50 ㎜ ×두께 2.8㎜의 작고 얇은 플라스틱 케이스이고, 이는 영상, 오디오, 및 음악과 같은 다양한 데이터가 10핀의 단자를 통해 기록 및 판독되도록 허용한다.
부가하여, 메모리 스틱(223)은 용량이 확대되는 것과 같이 명세에서 내장 플래쉬 메모리가 변화되는 경우에도 사용되던 장치와의 호환성을 보장할 수 있는 유일한 시리얼 프로토콜을 채택하므로, 1.5MB/S의 최대 기록 속도 및 2.45MB/S의 최대 판독 속도의 고성능을 실시하고, 또한 에러가 있는 삭제 방지 스위치를 제공함으로써 높은 확실성을 보장한다.
상술된 바와 같이, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 이러한 메모리 스틱(223)을 삽입할 수 있으므로, 메모리 스틱(223)을 통해 다른 전자 장치와 데이터를 공유할 수 있다.
(2-3) 카메라가 구비된 디지털 휴대용 전화기의 회로 구성
도 20에 도시된 바와 같이, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 메인 버스(260)로 전원 회로부(251), 조작 입력 제어부(252), 영상 인코더(253), 카메라 인터페이스부(254), 액정 디스플레이(LCD) 제어부(255), 영상 디코더(256),디멀티플렉싱부(257), 기록 및 재생부(262), 변조기 및 복조기 회로부(258), 또한 오디오 CODEC(259)에 연결되고, 동기화 버스(261)로 영상 인코더(253), 영상 디코더(256), 디멀티플렉싱부(257), 변조기 및 복조기 회로부(258), 또한 오디오 CODEC(259)에 연결되는 디스플레이부(212) 및 본체(213)를 중심적으로 제어하기 위한 주 제어부(250)를 구비한다.
사용자에 의해 클리어 및 전원 키가 켜질 때, 전원 회로부(251)는 배터리 팩으로부터 각 회로부에 전원을 제공함으로써 동작가능한 상태에서 카메라가 구비된 디지털 휴대용 전화기(MS3)를 기동한다.
CPU, ROM, RAM 등으로 구성된 주 제어부(250)의 제어 하에서, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 오디오 통신 모드에서 마이크로폰(221)으로 수집된 오디오 신호를 오디오 CODEC(259)을 통해 디지털 오디오 데이터로 변환하고, 변조기 및 복조기 회로부(258)에서 그에 확산 스펙트럼 처리를 실행하며, 송수신 회로부(263)에서 디지털-아날로그 변환 및 주파수 변환 처리를 실행하고, 이어서 이를 안테나(214)를 통해 전송한다.
또한, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 오디오 통신 모드에서 안테나(214)로 수신된 수신 신호를 증폭하고, 주파수 변환 및 아날로그-디지털 변환 처리를 실행하며, 변조기 및 복조기 회로부(258)에서 역확산 스펙트럼 처리를 실행하고, 오디오 CODEC(259)에 의해 이를 아날로그 오디오 신호로 변환하며, 이어서 스피커(217)를 통해 이를 출력한다.
더욱이, 데이터 통신 모드에서 전자 메일을 전달하는 경우, 카메라가 구비된디지털 휴대용 전화기(MS3)는 조작 키(219) 및 조그 다이얼(222)을 조작하여 입력된 전자 메일의 텍스트 데이터를 조작 입력 제어부(252)를 통해 주 제어부(250)에 전달한다.
주 제어부(250)는 변조기 및 복조기 회로부(258)에서 텍스트 데이터에 확산 스펙트럼 처리를 실행하고, 송수신 회로부(263)에서 디지털-아날로그 변환 및 주파수 변환 처리를 실행하며, 이어서 안테나(214)를 통해 기지국(CS3) (도 17)에 이를 전송한다.
한편, 데이터 통신 모드에서 전자 메일을 수신하는 경우, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 원래의 텍스트 데이터를 회복하도록 변조기 및 복조기 회로부(258)에서 안테나(214)를 통해 기지국(CS3)으로부터 수신된 수신 신호에 역확산 스펙트럼 처리를 실행하고, 이어서 LCD 제어부(255)를 통해 액정 디스플레이(218)에 전자 메일로 이를 디스플레이한다.
이후, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 사용자의 조작에 의해 기록 및 재생부(262)를 통해 메모리 스틱(223)에 수신된 전자 메일을 기록하는 것도 또한 가능하다.
한편, 데이터 통신 모드에서 영상 데이터를 전송하는 경우, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 카메라 인터페이스부(254)를 통해 영상 인코더(253)에 CCD 카메라(216)에 의해 촬영된 영상 데이터를 공급한다.
부언하자면, 영상 데이터를 전송하지 않는 경우, 카메라가 구비된 디지털 휴대용 전화기(MS3)가 카메라 인터페이스부(254) 및 LCD 제어부(255)를 통해 CCD 카메라(216)로 촬영된 영상 데이터를 액정 디스플레이(218)에 직접 디스플레이하는 것도 또한 가능하다.
영상 인코더(253)는 MPEG(moving picture experts group)2 또는 MPEG4와 같은 소정의 부호화 방법에 의해 압축 부호화함으로써 CCD 카메라(216)로부터 공급된 영상 데이터를 코드화 영상 데이터로 변환하고, 그 결과를 디멀티플렉싱부(257)에 전달한다.
이 때, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 CCD 카메라(216)에 의해 촬영하는 동안 마이크로폰(221)으로 수집된 오디오를 디지털 오디오 데이터로 동시에 오디오 CODEC(259)을 통해 디멀티플렉싱부(257)에 전달한다.
디멀티플렉싱부(257)는 소정의 방법에 의해 영상 인코더(253)로부터 공급된 코드화 영상 데이터 및 오디오 CODEC(259)으로부터 공급된 오디오 데이터를 멀티플렉싱 처리하고, 변조기 및 복조기 회로부(258)에서 결과의 멀티플렉싱 데이터에 확산 스펙트럼 처리를 실행하며, 송수신 회로부(263)에서 디지털-아날로그 변환 및 주파수 변환 처리를 실행하고, 이어서 그 결과를 안테나(214)를 통해 전달한다.
한편, 데이터 통신 모드에서 간단한 홈 페이지와 같은 영상 데이터를 수신하는 경우, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 변조기 및 복조기 회로부(258)에서 안테나(214)를 통해 기지국(CS3)으로부터 수신된 수신 신호에 역확산 스펙트럼 처리를 실행하고, 결과의 멀티플렉싱 데이터를 디멀티플렉싱부(257)에 전달한다.
디멀티플렉싱부(257)는 이를 코드화 영상 데이터 및 오디오 데이터로 분할하도록 멀티플렉싱 데이터를 디멀티플렉싱 처리하고, 동기화 버스(261)를 통해 코드화 영상 데이터를 영상 디코더(256)에, 또한 오디오 데이터를 오디오 CODEC(259)에 공급한다.
영상 디코더(256)는 MPEG2 또는 MPEG4와 같은 소정의 부호화 방법에 대응하는 복호화 방법에 의해 코드화 영상 데이터를 복호화함으로써 재생 영상 데이터를 생성하고, 예를 들어 간단한 홈 페이지에 링크된 영상으로 LCD 제어부(255)를 통해 액정 디스플레이(218)에 이를 디스플레이한다.
이 때, 오디오 CODEC(259)은 오디오 데이터를 아날로그 오디오 데이터로 변환하고, 예를 들어 간단한 홈 페이지에 링크된 사운드로 스피커(217)를 통해 이를 출력한다.
이 경우에는 또한 전자 메일의 경우에서와 같이, 카메라가 구비된 디지털 휴대용 전화기(MS3)가 사용자의 조작에 의해 기록 및 재생부(262)를 통해 메모리 스틱(223)에 간단한 홈 페이지의 수신 영상 데이터를 기록할 수 있다.
이러한 구조에 부가하여, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 주 제어부(250)의 ROM에 제1 실시예와 같은 사이버 행위 프로그램(180) (도 15) 및 조그 다이얼 서버 프로그램(182)을 포함하고, 사이버 행위 프로그램(180)에 의해 활성 윈도우 화면에 행위 인식 화면(100) (도 6)을 오버랩하여 디스플레이하며, 또한 소정의 응용 프로그램(183)을 기초로 하는 활성 윈도우 화면을 액정 디스플레이(218)에 디스플레이하면서 행위 인식 화면(100) 상의 행위 인식 디스플레이 영역(106)에 CCD 카메라(216)로 촬영된 사용자의 영상을 디스플레이할 수 있다.
다음에는, 도 5 내지 도 16에 도시된 제1 실시예에서와 같이, 카메라가 구비된 디지털 휴대용 전화기(MS3)가 주 제어부(250)의 제어 하에서 행위 인식 화면(100) 상의 행위 인식 디스플레이 영역(106)에 디스플레이된 사용자 영상에서 피부-칼라 영역(R)을 검출하고, 이동하는 피부-칼라 영역(R)을 손바닥 부분으로 인식하며, 이어서 손바닥의 행위 이동에 대응하는 소정의 명령을 조그 다이얼 서버 프로그램(182)에 의해 응용 소프트웨어(183)로 공급한다.
그래서, 제1 실시예의 노트북 PC(1)와 같이, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 명령에 응답하여 주 제어부(250)의 제어 하에서 응용 소프트웨어(183)에 의해 행위 인식 화면(100)에 배경으로 디스플레이된 활성 윈도우 화면 상의 정지 화상을 전달하거나 재생할 수 있다.
(2-4) 제2 실시예에서의 동작 및 효과
상기 구성에서, 주 제어부(250)는 사이버 행위 프로그램(180)을 기동하고, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 수평선에 배열된 5개의 사각 타겟(107A 내지 107E)으로 구성된 타겟부(107)를 행위 인식 화면(100) 상의 행위 인식 디스플레이 영역(106)에서 중심 부근에 디스플레이한다.
이 때, 제1 실시예에서와 같이, 카메라가 구비된 디지털 휴대용 전화기(MS3)가 사용자 손의 좌우측 이동을 인식할 수 없는 경우, 이는 사용자의 손을 탐색하는 중임을 사용자에게 확실하게 알려주도록 타겟(107A 내지 107E)의 프레임(107AE 내지 107EF) 내부 영역을 화살표 A 및 B로 표시된 좌우측 방향으로 순차적으로 번갈아 빨간색으로 표시함으로써 등급 효과를 제공한다.
이 방법에서, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 손의 이동을 인식하기 위한 입력 조작을 실행하도록 사용자에게 촉구할 수 있으므로, 짧은 시간에 사용자 손의 이동을 인식할 수 있고, 인식된 손의 이동에 따라 명령을 생성하며, 이어서 그 명령에 응답하여 활성 윈도우 화면에 디스플레이된 정지 화상을 전달 또는 재생할 수 있다.
상기 구성에 따라, 카메라가 구비된 디지털 휴대용 전화기(MS3)가 CCD 카메라(216)에 의해 촬영된 사용자 손의 이동을 인식하지 못하는 경우, 이는 순차적으로 타겟(107A 내지 107E)의 프레임(107AF 내지 107EF) 내부 영역을 화살표 A 및 B로 나타내지는 좌우측 방향으로 빨간색으로 번갈아 표시함으로써 사용자의 손을 찾고 있으며 인식가능한 대기 상태에 있음을 사용자에게 확실하게 알려줄 수 있다.
또한, 상기 구성에서, 주 제어부(250)는 사이버 행위 프로그램(180)을 시작하고, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 수평선에 배열된 5개의 사각 타겟(107A 내지 107E)으로 구성된 타겟부(107)를 행위 인식 화면(100) 상의 행위 인식 디스플레이 영역(106)에서 중심 부근에 디스플레이한다.
그러므로, 제1 실시예에서와 같이, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 사용자 손의 좌우측 이동을 인식할 수 있음을 사용자에게 시각적으로 보여 줄 수 있으므로, 사용자는 인식가능한 이동 방향을 미리 확실하게 알 수 있다.
또한, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 타겟(107A 내지 107E)을 배경의 그레이 스케일 디스플레이에 대해 시각적으로 구별할 수 있도록 타겟(107A 내지 107E)의 프레임(107AF 내지 107EF)을 빨간색으로 표시할 수 있다.
상기 구성에 따라, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 사이버 행위 프로그램(180)에 의해, 수평선에 순차적으로 배열된 5개의 사각 타겟(107A 내지 107E)으로 구성된 타겟부(107)를 행위 인식 화면(100) 상의 행위 인식 디스플레이 영역(106)에서 중심 부근에 디스플레이함으로써 카메라가 구비된 디지털 휴대용 전화기(MS3)가 사용자 손의 좌우측 이동을 인식할 수 있음을 사용자에게 미리 확실하게 알려줄 수 있다.
더욱이, 상기 구성에서, 주 제어부(250)는 사이버 행위 프로그램(180)을 시작하고, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 수평선에 배열된 5개의 사각 타겟(107A 내지 107E)으로 구성된 타겟부(107)를 행위 인식 화면(100) 상의 행위 인식 디스플레이 영역(106)에서 중심 부근에 디스플레이한다.
이 때, 제1 실시예에서와 같이, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 사용자 손의 좌우측 이동을 인식하고, 또한 손의 이동에 따라 순차적으로 타겟(107A 내지 107E)에 포인터(108)를 이동시켜 디스플레이함으로써 사용자가 손의 이동에 대한 인식 결과 및 궤적을 점검하도록 허용할 수 있다.
그래서, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 인식된 사용자 손의 이동에 대한 인식 결과 및 궤적의 피드백으로 카메라가 구비된 디지털 휴대용 전화기(MS3)에 의해 손이 쉽게 인식될 수 있도록 사용자가 손을 움직이는 방법을 알 수 있게 할 수 있고, 그 결과로, 사용자에 의해 명령이 입력될 때까지의 시간이 단축될 수 있다.
상기 구성에 따라, 카메라가 구비된 디지털 휴대용 전화기(MS3)는 타겟(107A 내지 107E) 및 포인터(108)를 사용하는 애니메이션에 의해 CCD 카메라(216)로 촬영된 손의 이동을 인식한 결과로서 사용자 손의 이동에 대한 인식 결과 및 궤적을 디스플레이할 수 있으므로, 손의 이동에 대한 인식 결과 및 궤적의 피드백으로 사용자가 그 방법을 알 수 있게 한다.
(3) 다른 실시예
또한, 상기 제1 및 제2 실시예는 노트북 PC(1) 및 카메라가 구비된 디지털 휴대용 전화기(MS3)가 좌우측 방향으로 사용자 손의 이동을 인식하지 못할 때, 대기 상태 영상으로써 탐색 상태에서 영상 인식 화면(100) (도 11) 상에 타겟(107A 내지 107E)의 프레임(107AF 내지 107EF) 내부 영역을 화살표 A 및 B로 나타내진 좌우측 방향으로 순차적으로 빨간색으로 번갈아 표시함으로써, 이들이 손의 이동을 인식하지 못함을 사용자에게 알리는 경우를 설명하였지만, 본 발명은 이에 제한되지 않고, 타겟(107A 내지 107E)을 화살표 A 및 B로 나타내진 좌우측 방향으로 순차적으로 깜빡거리거나 액정 디스플레이(10)에 "손의 이동을 인식할 수 없음"을 직접 디스플레이하는 것이 또한 가능하다.
또한, 상기 제1 및 제2 실시예는 노트북 PC(1) 및 카메라가 구비된 디지털 휴대용 전화기(MS3)가 인식가능한 이동 방향 영상 화상으로 행위 인식 화면(100) 상에서 사용자 손의 좌우측 이동을 인식할 수 있음을 사용자에게 시각적으로 알려주는 경우를 설명하였지만, 본 발명은 이에 제한되지 않고, 수직선에 배열된 타겟부(107)를 포함하는 행위 인식 화면에 의해 상하 이동이 인식될 수 있음을 사용자에게 시각적으로 알려주는 것이 또한 가능하다.
또한, 상기 제1 및 제2 실시예는 행위 인식 화면(100) 상에 디스플레이되는 소정의 형상의 마크로 사각 타겟(107A 내지 107E)이 사용되는 경우를 설명하였지만, 본 발명은 이에 제한되지 않고, 원과 같은 다양한 다른 형상의 타겟 또는 임의의 애니메이션 영상을 사용하는 것이 또한 가능하다.
또한, 상기 제1 및 제2 실시예는 사용자의 이동이 인식 대상으로 인식되는 경우를 설명하였지만, 본 발명은 이에 제한되지 않고, 사용자 이외에 로봇이나 동물과 같은 다양한 인식 대상의 이동을 인식하는 것이 또한 가능하다.
더욱이, 상기 제1 및 제2 실시예는 이동 방향 인식 수단 및 제어 수단인 CPU(50, 250)가 ROM 또는 HDD(67)의 하드 디스크에 미리 저장된 사이버 행위 프로그램(180) 기반의 행위 인식 화면(100)을 사용하여 인식가능한 대기 상태에 있음을 사용자에게 알려주는 경우를 설명하였지만, 본 발명은 이에 제한되지 않고, 사이버 행위 프로그램(180)을 저장하는 프로그램 저장 매체를 노트북 PC(1) 및 카메라가 구비된 디지털 휴대용 전화기(MS3)에 삽입함으로써, 이들이 인식가능한 대기 상태에 있음을 사용자에게 알려주는 것이 또한 가능하다.
더욱이, 상기 제1 및 제2 실시예는 이동 방향 인식 수단 및 제어 수단인 CPU(50, 250)가 ROM 또는 HDD(67)의 하드 디스크에 미리 저장된 사이버 행위 프로그램(180) 기반의 행위 인식 화면(100)을 디스플레이함으로써 인식가능한 이동 방향을 사용자에게 미리 알려주는 경우를 설명하였지만, 본 발명은 이에 제한되지 않고, 사이버 행위 프로그램(180)을 저장하는 프로그램 저장 매체를 노트북 PC(1) 및 카메라가 구비된 디지털 휴대용 전화기(MS3)에 삽입함으로써 상술된 행위 인식 화면(100)을 디스플레이하는 것이 또한 가능하다.
더욱이, 상기 제1 및 제2 실시예는 ROM 또는 HDD(67)의 하드 디스크에 미리 저장된 사이버 행위 프로그램(180)에 의해 손의 이동에 따라 타겟(107A 내지 107E)에 포인터(108)가 이동하여 오버랩되는 애니메이션을 디스플레이함으로써 이동 방향 인식 수단 및 제어 수단인 CPU(50, 250)가 사용자 손의 이동에 대한 인식 결과 및 궤적을 사용자에게 알려주는 경우를 설명하였지만, 본 발명은 이에 제한되지 않고, 사이버 행위 프로그램(180)을 저장하는 프로그램 저장 매체를 노트북 PC(1) 및 카메라가 구비된 디지털 휴대용 전화기(MS3)에 삽입함으로써 사용자 손의 이동 및 인식 결과를 사용자에게 알려주도록 애니메이션을 디스플레이하는 것이 또한 가능하다.
노트북 PC(1) 및 카메라가 구비된 디지털 휴대용 전화기(MS3)에서 상술된 일련의 처리를 실행하는 데 사용되는 사이버 행위 프로그램(180)을 인스톨하고 노트북 PC(1) 및 카메라가 구비된 디지털 휴대용 전화기(MS3)에서 이를 실행하는 데 사용되는 프로그램 저장 매체로는 플로피 디스크, CD-ROM, 및 DVD와 같은 패키지 매체 뿐만 아니라, 사이버 행위 프로그램(180)을 임시로 또는 영구히 저장하는 반도체 메모리 및 자기 디스크도 사용될 수 있다. 또한, 이들 프로그램 저장 매체에 사이버 행위 프로그램(180)을 저장하는 수단으로, LAN, 인터넷, 및 디지털 위성 방송과 같은 유무선 통신 매체가 사용될 수 있고, 이는 또한 라우터 또는 모뎀과 같은 또 다른 다양한 통신 인터페이스를 통해 저장될 수 있다.
또한, 상기 제1 및 제2 실시예는 본 발명의 정보 처리 장치가 노트북 PC(1) 및 카메라가 구비된 디지털 휴대용 전화기(MS3)에 적용되는 경우를 설명하였지만, 이들은 또한 개인용 디지털 보조기(MS1, MS2)와 같은 다른 다양한 정보 처리 장치에 적용될 수 있다.
상술된 바와 같이, 본 발명은 촬상 수단에 의해 인식 대상을 촬영하여 얻은 영상을 기초로, 인식 대상의 이동 방향을 인식하고, 인식된 인식 대상의 이동 방향에 대응하는 소정의 명령을 생성할 때, 인식 대상의 이동 방향을 인식하지 못하면 영상에서 인식 대상을 찾고 있는 상황을 나타내어 소정의 대기 상태 영상을 생성하고, 또한 이를 소정의 디스플레이 수단에 디스플레이하여, 인식 대상의 이동 방향이 인식가능하고 그 장치가 대기 상태에 있음을 사용자에게 확실하게 알려주도록 할 수 있다.
또한, 상술된 바와 같이, 본 발명은 촬상 수단에 의해 인식 대상을 촬영하여 얻은 영상을 기초로 인식 대상의 이동 방향을 인식하기 이전에, 사용자가 인식가능한 이동 방향을 미리 추정하도록 소정의 인식가능 이동 방향 영상 화상을 생성하고, 인식가능 이동 방향 영상 화상을 사용하여 인식가능한 이동 방향을 미리 사용자에게 알려주도록 소정의 디스플레이 수단에 이를 디스플레이하도록 할 수 있다.
또한, 상술된 바와 같이, 본 발명은 촬상 수단에 의해 인식 대상을 촬영하여 얻은 영상을 기초로, 영상에서 인식 대상의 이동 방향을 인식하고, 인식된 인식 대상의 이동 방향의 궤적을 나타내는 인식 처리 영상을 생성하며, 이어서 소정의 디스플레이 수단에 이를 디스플레이하여, 피드백에 의해 인식 대상의 이동이 인식되었던 방법을 사용자가 알게 하도록 할 수 있다.
본 발명의 바람직한 실시예와 연관되어 설명되었지만, 본 기술 분야의 숙련자에게는 다양한 변화 및 수정이 의도될 수 있음이 명확하므로, 첨부된 청구항에서 이러한 변경 및 수정은 모두 본 발명의 진정한 의도 및 범위 내에 포함된다.

Claims (13)

  1. 입력된 명령에 응답하여 소정의 처리를 실행하는 정보 처리 장치에 있어서,
    촬상 수단에 의해 인식 대상을 촬영하여 얻은 영상을 기초로, 상기 인식 대상의 이동 방향을 인식하고, 상기 인식된 인식 대상의 이동 방향에 대응하는 상기 명령을 생성하기 위한 이동 방향 인식 수단; 및
    상기 이동 방향 인식 수단에 의해 상기 인식 대상의 이동 방향을 인식하지 못하는 동안에 상기 이동 방향 인식 수단이 상기 영상에서 상기 인식 대상을 탐색하는 중임을 나타내는 소정의 대기 상태 영상을 생성하고, 상기 대기 상태 영상을 소정의 디스플레이 수단에 디스플레이하기 위한 제어 수단
    을 포함하는 정보 처리 장치.
  2. 제1항에 있어서,
    상기 제어 수단은, 상기 대기 상태 영상으로서, 소정의 방향으로 순차적으로 배열된 소정의 형상의 복수의 마크를 상기 방향 및 상기 방향의 역방향으로 순서대로 번갈아 디스플레이하는 정보 처리 장치.
  3. 소정의 인식 대상의 이동 방향을 인식함으로써 입력된 명령에 응답하여 소정의 처리를 실행하는 정보 처리 장치에서 이동 인식가능 대기 상태를 디스플레이하는 방법에 있어서,
    촬상 수단에 의해 상기 인식 대상을 촬영하여 얻은 영상을 기초로, 상기 인식 대상의 이동 방향을 인식하고, 상기 인식된 인식 대상의 이동 방향에 대응하는 상기 명령을 생성하는 이동 방향 인식 처리 단계;
    상기 이동 방향 인식 처리 단계에 의해 상기 인식 대상의 이동 방향을 인식하지 못하는 동안에 상기 영상에서 상기 인식 대상을 탐색하는 중임을 나타내는 소정의 대기 상태 영상을 생성하는 영상 생성 처리 단계; 및
    상기 영상 생성 처리 단계에 의해 생성된 상기 대기 상태 영상을 소정의 디스플레이 수단에 디스플레이하는 디스플레이 처리 단계
    를 포함하는 방법.
  4. 정보 처리 장치가 프로그램을 실행하게 하는 프로그램 저장 매체에 있어서,
    상기 프로그램은,
    촬상 수단에 의해 인식 대상을 촬영하여 얻은 영상을 기초로, 상기 인식 대상의 이동 방향을 인식하는 이동 방향 인식 처리 단계;
    상기 이동 방향 인식 처리 단계에 의해 상기 인식 대상의 이동 방향을 인식하지 못하는 동안에 상기 영상에서 상기 인식 대상을 탐색하는 중임을 나타내는 소정의 대기 상태 영상을 생성하는 영상 생성 처리 단계; 및
    상기 영상 생성 처리 단계에 의해 생성된 상기 대기 상태 영상을 소정의 디스플레이 수단에 디스플레이하는 디스플레이 단계
    를 포함하는 프로그램 저장 매체.
  5. 정보 처리 장치에 있어서,
    촬상 수단에 의해 인식 대상을 촬영하여 얻은 영상을 기초로, 상기 인식 대상의 이동 방향을 인식하기 위한 이동 방향 인식 수단; 및
    상기 이동 방향 인식 수단에 의해 상기 인식 대상의 이동 방향을 인식하기 이전에, 상기 이동 방향 인식 수단에 의해 인식될 수 있는 상기 이동 방향을 사용자가 볼 수 있도록 소정의 인식가능 이동 방향 영상 화상을 미리 생성하고, 상기 화상을 소정의 디스플레이 수단에 디스플레이하기 위한 제어 수단
    을 포함하는 정보 처리 장치.
  6. 제5항에 있어서,
    상기 제어 수단은, 상기 인식가능 이동 방향 영상 화상으로서, 소정의 방향으로 순차적으로 배열된 소정의 형상의 복수의 마크를 상기 디스플레이 수단에 디스플레이함으로써, 상기 이동 방향 인식 수단이 상기 소정의 방향에서 상기 인식 대상의 이동 방향을 인식할 수 있음을 상기 사용자에게 알려주는 정보 처리 장치.
  7. 제6항에 있어서,
    상기 제어 수단은 상기 디스플레이 수단에서 상기 소정의 형상의 상기 마크를 배경 영상과 다른 칼라로 표시하는 정보 처리 장치.
  8. 인식가능한 이동을 도시하는 방법에 있어서,
    촬상 수단에 의해 인식 대상을 촬영하여 얻은 영상을 기초로, 상기 인식 대상의 이동 방향을 인식하는 이동 방향 인식 처리 단계;
    상기 이동 방향 인식 처리 단계에 의해 상기 인식 대상의 상기 이동 방향을 인식하기 이전에, 상기 이동 방향 인식 처리 단계에 의해 인식될 수 있는 상기 이동 방향을 사용자가 볼 수 있도록 소정의 인식가능 이동 방향 영상 화상을 미리 생성하는 영상 생성 처리 단계; 및
    상기 영상 생성 처리 단계에 의해 생성된 상기 인식가능 이동 방향 영상 화상을 소정의 디스플레이 수단에 디스플레이하는 디스플레이 처리 단계
    를 포함하는 방법.
  9. 정보 처리 장치가 프로그램을 실행하게 하는 프로그램 저장 매체에 있어서,
    상기 프로그램은,
    촬상 수단에 의해 인식 대상을 촬영하여 얻은 영상을 기초로, 상기 인식 대상의 이동 방향을 인식하는 이동 방향 인식 처리 단계;
    상기 이동 방향 인식 처리 단계에 의해 상기 인식 대상의 상기 이동 방향을 인식하기 이전에, 상기 이동 방향 인식 처리 단계에 의해 인식될 수 있는 상기 이동 방향을 사용자가 볼 수 있도록 소정의 인식가능 이동 방향 영상 화상을 미리 생성하는 영상 생성 처리 단계; 및
    상기 영상 생성 처리 단계에 의해 생성된 상기 인식가능 이동 방향 영상 화상을 소정의 디스플레이 수단에 디스플레이하는 디스플레이 처리 단계
    를 포함하는 프로그램 저장 매체.
  10. 정보 처리 장치에 있어서,
    촬상 수단에 의해 인식 대상을 촬영하여 얻은 영상을 기초로, 상기 인식 대상의 이동 방향을 인식하기 위한 이동 방향 인식 수단; 및
    상기 이동 방향 인식 수단에 의해 인식된 상기 인식 대상의 이동 방향의 궤적을 나타내는 인식 과정 영상을 생성하고, 상기 영상을 소정의 디스플레이 수단에 디스플레이하기 위한 제어 수단
    을 포함하는 정보 처리 장치.
  11. 제10항에 있어서,
    상기 제어 수단은, 상기 인식 처리 영상으로서, 상기 인식 대상의 상기 이동 방향으로 순차적으로 배열된 소정의 형상의 복수의 마크를 상기 이동 방향으로 순서대로 번갈아 디스플레이하는 정보 처리 장치.
  12. 이동 인식 과정을 디스플레이하는 방법에 있어서,
    촬상 수단에 의해 인식 대상을 촬영하여 얻은 영상을 기초로, 상기 인식 대상의 이동 방향을 인식하는 이동 방향 인식 처리 단계;
    상기 이동 방향 인식 처리 단계에 의해 인식된 상기 인식 대상의 이동 방향의 궤적을 나타내는 인식 과정 영상을 생성하는 인식 과정 영상 생성 처리 단계; 및
    상기 인식 과정 영상 생성 처리 단계에 의해 생성된 상기 인식 과정 영상을 소정의 디스플레이 수단에 디스플레이하는 디스플레이 처리 단계
    를 포함하는 방법.
  13. 정보 처리 장치가 프로그램을 실행하게 하는 프로그램 저장 매체에 있어서,
    상기 프로그램은,
    촬상 수단에 의해 인식 대상을 촬영하여 얻은 영상을 기초로, 상기 인식 대상의 이동 방향을 인식하는 이동 방향 인식 처리 단계;
    상기 이동 방향 인식 처리 단계에 의해 인식된 상기 인식 대상의 이동 방향의 궤적을 나타내는 인식 과정 영상을 생성하는 인식 과정 영상 생성 처리 단계; 및
    상기 인식 과정 영상 생성 처리 단계에 의해 생성된 상기 인식 과정 영상을 소정의 디스플레이 수단에 디스플레이하는 디스플레이 처리 단계
    를 포함하는 프로그램 저장 매체.
KR1020010021420A 2000-04-21 2001-04-20 정보 처리 장치, 이동 인식가능 대기 상태를디스플레이하는 방법, 인식가능한 이동을 도시하는 방법,이동 인식 과정을 디스플레이하는 방법, 및 프로그램 저장매체 KR100843811B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2000-126343 2000-04-21
JP2000126343A JP4415227B2 (ja) 2000-04-21 2000-04-21 情報処理装置、情報処理方法及び記録媒体
JP2000-126344 2000-04-21
JP2000126344A JP2001306049A (ja) 2000-04-21 2000-04-21 情報処理装置、動作認識過程表示方法及びプログラム格納媒体
JP2000126342A JP2001307108A (ja) 2000-04-21 2000-04-21 情報処理装置、動作認識待機状態表示方法及びプログラム格納媒体
JP2000-126342 2000-04-21

Publications (2)

Publication Number Publication Date
KR20010098781A true KR20010098781A (ko) 2001-11-08
KR100843811B1 KR100843811B1 (ko) 2008-07-04

Family

ID=27343207

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010021420A KR100843811B1 (ko) 2000-04-21 2001-04-20 정보 처리 장치, 이동 인식가능 대기 상태를디스플레이하는 방법, 인식가능한 이동을 도시하는 방법,이동 인식 과정을 디스플레이하는 방법, 및 프로그램 저장매체

Country Status (4)

Country Link
US (1) US7046232B2 (ko)
EP (1) EP1148411A3 (ko)
KR (1) KR100843811B1 (ko)
CN (1) CN100487633C (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120131981A (ko) * 2011-05-27 2012-12-05 엘지디스플레이 주식회사 사용자 동작 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6901561B1 (en) * 1999-10-19 2005-05-31 International Business Machines Corporation Apparatus and method for using a target based computer vision system for user interaction
US8095879B2 (en) * 2002-12-10 2012-01-10 Neonode Inc. User interface for mobile handheld computer unit
SE0103835L (sv) * 2001-11-02 2003-05-03 Neonode Ab Pekskärm realiserad av displayenhet med ljussändande och ljusmottagande enheter
JP3948986B2 (ja) * 2002-03-14 2007-07-25 三洋電機株式会社 撮影画像表示装置及び撮影画像表示方法
US8225224B1 (en) * 2003-02-25 2012-07-17 Microsoft Corporation Computer desktop use via scaling of displayed objects with shifts to the periphery
JP2005006964A (ja) * 2003-06-19 2005-01-13 Canon Inc 画像撮影装置及び画像撮影方法
CN1860429A (zh) * 2003-09-30 2006-11-08 皇家飞利浦电子股份有限公司 定义内容窗口在显示器上的位置、尺寸和/或内容的姿势
JP4175234B2 (ja) * 2003-10-07 2008-11-05 セイコーエプソン株式会社 表示制御装置、携帯型情報端末及び表示制御方法
JP4048435B2 (ja) 2003-10-23 2008-02-20 ソニー株式会社 電子機器
CA2615316C (en) * 2004-08-12 2013-02-12 A4 Vision S.A. Device for contactlessly controlling the surface profile of objects
US7646896B2 (en) * 2005-08-02 2010-01-12 A4Vision Apparatus and method for performing enrollment of user biometric information
AU2005285558C1 (en) * 2004-08-12 2012-05-24 A4 Vision S.A Device for biometrically controlling a face surface
JP5077977B2 (ja) * 2005-05-30 2012-11-21 ルネサスエレクトロニクス株式会社 液晶ディスプレイ駆動制御装置及び携帯端末システム
US20070047774A1 (en) * 2005-08-31 2007-03-01 Artiom Yukhin Method and apparatus for performing enrollment of 2D and 3D face biometrics
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
JP5398532B2 (ja) * 2006-08-07 2014-01-29 コーニンクレッカ フィリップス エヌ ヴェ 運動を促すためにコンピュータスクリーンでユーザの動作を監視する方法及び装置
US9317124B2 (en) * 2006-09-28 2016-04-19 Nokia Technologies Oy Command input by hand gestures captured from camera
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
KR100869950B1 (ko) * 2006-12-01 2008-11-24 삼성전자주식회사 휴대 단말기의 확장형 대기화면 배치 구조 및 표시 방법
KR101304461B1 (ko) * 2006-12-04 2013-09-04 삼성전자주식회사 제스처 기반 사용자 인터페이스 방법 및 장치
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US20090172606A1 (en) * 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
US8555207B2 (en) 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US8514251B2 (en) * 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
JP5024632B2 (ja) * 2008-09-19 2012-09-12 ソニー株式会社 画像処理装置および方法、並びにプログラム
FR2936546B1 (fr) * 2008-10-01 2017-03-10 Valeo Securite Habitacle Dispositif de deverrouillage automatique d'un ouvrant de vehicule automatique.
JP5500812B2 (ja) * 2008-10-20 2014-05-21 株式会社ソニー・コンピュータエンタテインメント 撮像画像記憶制御装置、撮像画像記憶制御方法、撮像画像記憶制御プログラム及び撮像画像記憶制御プログラムを記憶した記憶媒体
US8917239B2 (en) 2012-10-14 2014-12-23 Neonode Inc. Removable protective cover with embedded proximity sensors
US8775023B2 (en) 2009-02-15 2014-07-08 Neanode Inc. Light-based touch controls on a steering wheel and dashboard
US8643628B1 (en) 2012-10-14 2014-02-04 Neonode Inc. Light-based proximity detection system and user interface
EP2441254A4 (en) * 2009-04-16 2016-12-21 Hewlett Packard Development Co TRANSMISSION OF VISUAL REPRESENTATIONS IN VIRTUAL COLLABORATION SYSTEMS
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US8856691B2 (en) * 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US8719714B2 (en) 2009-07-08 2014-05-06 Steelseries Aps Apparatus and method for managing operations of accessories
TW201106200A (en) * 2009-08-12 2011-02-16 Inventec Appliances Corp Electronic device, operating method thereof, and computer program product thereof
US8988190B2 (en) * 2009-09-03 2015-03-24 Dell Products, Lp Gesture based electronic latch for laptop computers
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US20110158605A1 (en) * 2009-12-18 2011-06-30 Bliss John Stuart Method and system for associating an object to a moment in time in a digital video
WO2012142323A1 (en) 2011-04-12 2012-10-18 Captimo, Inc. Method and system for gesture based searching
EP2514123A2 (en) * 2009-12-18 2012-10-24 Blipsnips, Inc. Method and system for associating an object to a moment in time in a digital video
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
JP2011253292A (ja) * 2010-06-01 2011-12-15 Sony Corp 情報処理装置および方法、並びにプログラム
US9134800B2 (en) 2010-07-20 2015-09-15 Panasonic Intellectual Property Corporation Of America Gesture input device and gesture input method
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
WO2012030872A1 (en) 2010-09-02 2012-03-08 Edge3 Technologies Inc. Method and apparatus for confusion learning
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8620024B2 (en) 2010-09-17 2013-12-31 Sony Corporation System and method for dynamic gesture recognition using geometric classification
US9213890B2 (en) 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
US9195345B2 (en) 2010-10-28 2015-11-24 Microsoft Technology Licensing, Llc Position aware gestures with visual feedback as input method
US20120194692A1 (en) * 2011-01-31 2012-08-02 Hand Held Products, Inc. Terminal operative for display of electronic record
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US9336456B2 (en) 2012-01-25 2016-05-10 Bruno Delean Systems, methods and computer program products for identifying objects in video data
JP6271444B2 (ja) * 2012-02-24 2018-01-31 トーマス ジェイ モスカリッロＭＯＳＣＡＲＩＬＬＯ， Ｔｈｏｍａｓ， Ｊ． ジェスチャー認識装置及び方法
US9575652B2 (en) 2012-03-31 2017-02-21 Microsoft Technology Licensing, Llc Instantiable gesture objects
US9619036B2 (en) * 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
US10324565B2 (en) 2013-05-30 2019-06-18 Neonode Inc. Optical proximity sensor
US10585530B2 (en) 2014-09-23 2020-03-10 Neonode Inc. Optical proximity sensor
US9921661B2 (en) 2012-10-14 2018-03-20 Neonode Inc. Optical proximity sensor and associated user interface
US10282034B2 (en) 2012-10-14 2019-05-07 Neonode Inc. Touch sensitive curved and flexible displays
US9164625B2 (en) 2012-10-14 2015-10-20 Neonode Inc. Proximity sensor for determining two-dimensional coordinates of a proximal object
US9741184B2 (en) 2012-10-14 2017-08-22 Neonode Inc. Door handle with optical proximity sensors
US12032817B2 (en) 2012-11-27 2024-07-09 Neonode Inc. Vehicle user interface
US9092093B2 (en) 2012-11-27 2015-07-28 Neonode Inc. Steering wheel user interface
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
US9687730B2 (en) * 2013-03-15 2017-06-27 Steelseries Aps Gaming device with independent gesture-sensitive areas
CN104460959B (zh) * 2013-09-18 2018-03-27 联想(北京)有限公司 信息处理方法及电子设备
CN108255300B (zh) * 2014-03-12 2023-03-21 联想(北京)有限公司 一种电子设备的控制方法和装置
KR102171817B1 (ko) * 2014-03-14 2020-10-29 삼성전자주식회사 디스플레이 장치 및 제어 방법
US10146318B2 (en) 2014-06-13 2018-12-04 Thomas Malzbender Techniques for using gesture recognition to effectuate character selection
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
CN109558000B (zh) * 2017-09-26 2021-01-22 京东方科技集团股份有限公司 一种人机交互方法及电子设备
EP3887192B1 (en) 2018-11-28 2023-06-07 Neonode Inc. Motorist user interface sensor
KR20220098024A (ko) 2019-12-31 2022-07-08 네오노드, 인크. 비 접촉식 터치 입력 시스템
CN112861641B (zh) * 2021-01-15 2022-05-20 复旦大学 一种面向人机交互领域的动态手势识别硬件加速器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63291111A (ja) * 1987-05-25 1988-11-29 Fujitsu Ltd 操作ガイダンス出力制御方法
US5214414A (en) * 1991-04-12 1993-05-25 International Business Machines Corp. Cursor for lcd displays
US5682469A (en) * 1994-07-08 1997-10-28 Microsoft Corporation Software platform having a real world interface with animated characters
US6144366A (en) * 1996-10-18 2000-11-07 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
US6009210A (en) * 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US5864334A (en) * 1997-06-27 1999-01-26 Compaq Computer Corporation Computer keyboard with switchable typing/cursor control modes
US6222538B1 (en) * 1998-02-27 2001-04-24 Flashpoint Technology, Inc. Directing image capture sequences in a digital imaging device using scripts
US6043805A (en) * 1998-03-24 2000-03-28 Hsieh; Kuan-Hong Controlling method for inputting messages to a computer
US6690357B1 (en) * 1998-10-07 2004-02-10 Intel Corporation Input device using scanning sensors
US6392675B1 (en) * 1999-02-24 2002-05-21 International Business Machines Corporation Variable speed cursor movement
US6388181B2 (en) * 1999-12-06 2002-05-14 Michael K. Moe Computer graphic animation, live video interactive method for playing keyboard music

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120131981A (ko) * 2011-05-27 2012-12-05 엘지디스플레이 주식회사 사용자 동작 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치

Also Published As

Publication number Publication date
KR100843811B1 (ko) 2008-07-04
US7046232B2 (en) 2006-05-16
EP1148411A3 (en) 2005-09-14
US20020006222A1 (en) 2002-01-17
EP1148411A2 (en) 2001-10-24
CN1320854A (zh) 2001-11-07
CN100487633C (zh) 2009-05-13

Similar Documents

Publication Publication Date Title
KR100843811B1 (ko) 정보 처리 장치, 이동 인식가능 대기 상태를디스플레이하는 방법, 인식가능한 이동을 도시하는 방법,이동 인식 과정을 디스플레이하는 방법, 및 프로그램 저장매체
US11635873B2 (en) Information display method, graphical user interface, and terminal for displaying media interface information in a floating window
JP7062092B2 (ja) 表示制御方法及び端末
US20180232927A1 (en) Mobile communication terminal and data input method
JP4904986B2 (ja) 情報処理装置
KR100777480B1 (ko) 정보 처리 장치 및 방법, 정보 처리 시스템 및 매체
US8111247B2 (en) System and method for changing touch screen functionality
EP1462921A2 (en) Portable terminal capable of invoking program by gesture command and program invoking method therefor
US20030040346A1 (en) Portable information terminal device having camera feature
US20110130159A1 (en) Visual laser touchpad for mobile telephone and method
CN104583906A (zh) 便携式设备的输入方法和装置
KR20160143115A (ko) 사용자 단말 장치 및 이의 제어 방법
JP2010250464A (ja) 情報処理装置、情報処理方法及びプログラム
CN110559645B (zh) 一种应用的运行方法及电子设备
CN110601959B (zh) 会话消息显示方法、装置、终端及存储介质
KR20110117906A (ko) 블루투스 통신 방법 및 시스템
JP2002083302A (ja) 情報処理装置、動作認識処理方法及びプログラム格納媒体
JP2008052576A (ja) 情報処理装置
JP4415227B2 (ja) 情報処理装置、情報処理方法及び記録媒体
JP2002116859A (ja) 情報処理装置、命令認識処理方法及びプログラム格納媒体
WO2017128288A1 (zh) 一种处理方法及便携式电子设备
US20080065731A1 (en) Information processing apparatus
JP2001307108A (ja) 情報処理装置、動作認識待機状態表示方法及びプログラム格納媒体
JP2001306049A (ja) 情報処理装置、動作認識過程表示方法及びプログラム格納媒体
JP4385266B2 (ja) 情報処理装置及び情報処理方法並びに記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130614

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140623

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee