KR100845390B1 - 영상 처리기, 영상 처리 방법, 기록 매체, 및 반도체 장치 - Google Patents

영상 처리기, 영상 처리 방법, 기록 매체, 및 반도체 장치 Download PDF

Info

Publication number
KR100845390B1
KR100845390B1 KR1020027007197A KR20027007197A KR100845390B1 KR 100845390 B1 KR100845390 B1 KR 100845390B1 KR 1020027007197 A KR1020027007197 A KR 1020027007197A KR 20027007197 A KR20027007197 A KR 20027007197A KR 100845390 B1 KR100845390 B1 KR 100845390B1
Authority
KR
South Korea
Prior art keywords
image
predetermined
object image
reflected video
target
Prior art date
Application number
KR1020027007197A
Other languages
English (en)
Other versions
KR20020059844A (ko
Inventor
오오바아키오
Original Assignee
가부시키가이샤 소니 컴퓨터 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 소니 컴퓨터 엔터테인먼트 filed Critical 가부시키가이샤 소니 컴퓨터 엔터테인먼트
Publication of KR20020059844A publication Critical patent/KR20020059844A/ko
Application granted granted Critical
Publication of KR100845390B1 publication Critical patent/KR100845390B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Abstract

명령을 입력하기 위한 입력 인터페이스로서 영상 장치에 의한 영상 샷(shot)을 사용하기 위한 영상 처리 장치는, 움직이는 표적을 포함하는 반사면 동영상을 캡쳐하기 위한 영상 캡쳐 수단, 반사면 동영상에 포함된 표적의 동작에 따라 소정의 객체를 나타내는 객체 영상을 생성하기 위한 영상 생성 수단 및 객체 영상을 반사면 동영상과 결합하고 소정의 표시장치에 합성된 영상을 표시하는 제어 수단을 포함한다.
영상, 입력, 인터페이스, 반사, 결합, 합성, 표적

Description

영상 처리기, 영상 처리 방법, 기록 매체, 및 반도체 장치{Image processing apparatus, image processing method, record medium, and semiconductor device}
본 발명은 명령 등을 위한 입력 장치로서 비디오 카메라와 같은 영상 픽업(pickup) 장치에 의해 취해진 영상들을 사용하게 하는 영상 처리 기술과 관계가 있다.
키보드들, 마우스들 및 조종기들이 컴퓨터들, 비디오 게임 기계들 등을 위한 입력 장치로서 자주 사용되었다. 조작자는 컴퓨터가 들어온 명령(들)에 따라 처리를 실행하도록 하는 입력 장치를 조작하여 원하는 명령 또는 명령들을 넣는다. 그런 다음, 조작자는 표시 장치 및/또는 스피커를 통해 처리 결과로서 얻어진 영상들을 보거나 및/또는 음향들을 듣는다.
조작자는 표시 장치에 표시된 커서(cursor)를 보면서 입력 장치에 제공된 많은 버튼들 또는 키들을 조작하여 명령들을 넣는다.
이와 같은 조작들은 조작자의 조작 경험에 크게 의존한다. 예를 들면, 키보드를 전혀 접해 보지 않은 사람에게, 키보드를 사용하여 원하는 명령을 넣는 것은 매우 성가시고 시간을 소비하는 것이며, 이들은 키보드를 잘 못 치는 것으로 인한 오류를 입력하기 쉽다. 이런 이유로, 조작자에 의해 쉬운 조작을 허용하는 맨-머신(man-machine) 인터페이스의 요구가 있다.
한편, 멀티미디어 기술들의 진보로, 이제는 일반 가정 구성원의 사람이 비디오 카메라로 취한 영상들을 컴퓨터 등으로 전송하고, 편집하고 이들을 표시 장치에 표시하는 것을 쉽게 즐길 수 있다. 이와 같은 기술들은 또한 얼굴과 같은 신체적 몸체의 영상을 픽업하여 분석하고, 개인을 인식하기 위해 이들의 형태들의 특징을 추출하여 개인의 인식을 위해 사용된다.
일반적으로, 이와 같이 취해진 영상들은 편집 또는 분석을 위해 컴퓨터에 의해 처리되는 정보로서 사용된다. 그러나, 취해진 영상들은 컴퓨터에 명령들을 넣기 위한 목적으로는 사용되지 않았었다.
본 발명의 목적은 사용자가 명령들을 넣는 것을 허용하는 입력 인터페이스로서 영상 픽업 장치 등에 의해 취해진 영상들을 사용하기 위한 영상 처리 기술을 제공하는 것이다.
본 발명에 따른 영상 처리기는 움직이는 표적을 포함하는 부분을 갖는 반사된 동영상을 캡쳐하는 영상 캡쳐 수단, 영상 캡쳐 수단에 의해 캡쳐된 반사된 동영상에 포함된 표적의 동작에 따라 소정의 객체를 나타내는 객체 영상을 생성하는 영상 생성 수단 및 영상 생성 수단에 의해 생성된 객체 영상을 캡쳐된 반사된 동영상과 결합하고 결합된 영상을 소정의 표시 장치에 표시하는 제어 수단을 포함한다.
"표적"은 영상을 영상 처리기로 공급하는 영상 픽업 장치에 의해 취해지는 영상 주제(subject: 예를 들면 사람 또는 객체)의 인지(remark)된 부분을 의미한다.
본 발명에 따른 다른 영상 처리기는 움직이는 표적을 포함하는 부분을 갖는 반사된 동영상을 캡쳐하는 영상 캡쳐 수단, 표적과 현재의 반사된 동영상과 진전의 반사된 동영상 사이의 영상 형태를 검출함으로써 표적 및 그의 동작 부분을 검출하는 검출 수단, 소정의 객체를 나타내는 객체 영상을 생성하고 객체 영상이 검출 수단에 의해 검출된 표적의 동작 부분에 따라 변하도록 하는 영상 생성 수단, 영상 생성 수단에 의해 생성된 객체 영상을 캡쳐된 반사된 동영상과 결합하고 소정의 표시 장치에 결합된 영상을 표시하는 제어 수단을 포함한다.
이들 영상 처리기는 반사된 동영상에 포함된 표적의 동작에 따라 객체 영상들을 생성한다. 더 상세하게는, 표시 장치에 표시되는 객체 영상의 동작, 색상, 형태가 결정되고, 만일 복수의 객체 영상들이 있을 경우, 표적의 동작에 따라 표시되어야 하는 객체 영상이 또한 결정된다. 예를 들면, 표적이 조작자인 경우, 객체는 조작자의 동작에 따라 결정된다. 그리하여, 반사된 동영상이 입력 인터페이스의 종류로서 사용 가능하다.
이들 영상 처리기들에서, 영상 생성 수단은 객체 영상을 생성하여 객체 영상이 검출된 표적의 동작을 따를 수도 있다.
영상 처리기들은 표적의 움직이는 부분에 따라 생성된 객체 영상을 기초로 필요한 처리를 수행하기 위해 표본(preparation)을 만드는 수단을 추가로 포함할 수도 있다.
영상 처리기들은 영상 생성 수단에 의해 생성된 객체 영상과 현재의 반사된 동영상을 결합하여 얻어진 결합된 영상을 직전의 반사된 동영상에 포함된 표적의 영상인 템플릿(template) 영상과 비교하고, 영상 형태가 템플릿 영상과 가장 닮은 결합된 영상의 부분을 검출하고, 검출된 결합 영상의 부분 영상이 객체 영상을 포함하는 경우 객체 영상을 기초로 필요한 처리를 수행하기 위해 표본을 만드는 수단을 추가로 포함할 수도 있다.
객체 영상을 소정의 처리로 연결하고 검출 수단에 의해 검출된 표적의 움직이는 부분이 소정의 상태를 만족하는 경우에 객체 영상과 연결하는 처리를 수행하는 수단을 추가로 포함하는 것에 의해, 표적의 동작에 따른 처리를 수행하는 것이 가능하다.
반사된 동영상은 복수의 표적들을 포함할 수도 있다. 검출 수단은 복수의 표적들 각각의 동작 부분을 검출하도록 구성되고, 검출된 복수의 표적들의 동작 부분들을 기초로 하나의 표적을 검출한다. 영상 생성 수단은 검출 수단에 의해 검출된 하나의 표적의 동작 부분에 따라 객체 영상을 바꾸도록 구성될 수도 있다.
본 발명은 다음의 영상 처리 방법을 추가로 제공한다. 이 영상 처리 방법은 움직이는 표적을 포함하는 반사된 동영상 부분을 영상 처리기로 캡쳐하는 단계를 포함한다: 영상 처리기는 캡쳐된 동영상에 포함된 표적의 동작에 따라 소정의 객체를 나타내는 객체 영상을 생성하고, 결합된 영상을 소정의 표시 장치에 표시하기 위해 객체 영상을 캡쳐된 동영상과 결합한다.
본 발명은 또한 다음의 컴퓨터 프로그램을 제공한다. 이 컴퓨터 프로그램은 표시 장치에 연결된 컴퓨터가 움직이는 표적을 포함하는 부분을 갖는 반사된 동영상을 캡쳐하고, 캡쳐된 반사된 동영상에 포함된 표적의 동작에 따라 소정의 객체를 나타내는 객체 영상을 생성하고, 표시 장치에 결합된 영상을 표시하기 위해 생성된 객체 영상을 캡쳐된 반사된 동영상과 결합하는 처리를 수행하도록 한다.
본 발명은 또한 다음의 반도체 장치를 제공한다. 이 반도체 장치는 표시 장치에 연결된 컴퓨터에 탑재된 장치와 결합되며, 반도체 장치는 움직이는 표적을 포함하는 부분을 갖는 반사된 동영상을 캡쳐하는 수단, 캡쳐된 반사된 동영상에 포함된 표적의 동작에 따라 소정의 객체를 표현하는 객체 영상을 생성하는 수단 및 표시 장치에 결합된 영상을 표시하기 위해 생성된 객체 영상과 캡쳐된 반사된 동영상을 결합하는 수단의 기능들을 컴퓨터가 형성하도록 한다.
도 1은 본 발명이 적용된 영상 처리 시스템의 전체 구성도이다.
도 2는 본 발명의 한 실시형태에 따른 영상 처리기의 구성도이다.
도 3은 본 발명의 한 실시형태에 따른 영상 처리기의 기능적 블럭도이다.
도 4는 실시형태 1의 처리 진행을 도시한 흐름도이다.
도 5는 실시형태 1의 처리 진행을 도시한 흐름도이다.
도 6은 실시형태 1에 따라 결합된 영상을 도시한다.
도 7은 메뉴 영상을 도시한다.
도 8은 실시형태 2의 처리 진행을 도시한 흐름도이다.
도 9는 실시형태 2에 따라 결합된 영상을 도시한다.
도 10은 어떻게 그림이 반복적인 텍스쳐를 사용하여 만들어지는지를 기술하기 위해 사용된 도면이다.
도 11은 실시형태 3의 처리 진행을 도시한 흐름도이다.
도 12는 실시형태 3의 처리 진행을 도시한 흐름도이다.
도 13은 실시형태 3에 따라 결합된 영상을 도시한다.
본 발명의 실시형태가 첨부된 도면을 참조로 상세하게 기술된다.
도 1은 본 발명이 적용된 영상 처리 시스템의 구조 실시예를 도시한다.
이 영상 처리 시스템은 아날로그 또는 디지탈 캠코더(1)를 사용하여 표시 장치(3)의 전방에 앉아있는 조작자의 그림을 취하고, 반사된 동영상들을 연속적으로 생성하기 위해 이와 같이 얻어진 동영상들을 영상 처리기(2)에 연속적으로 캡쳐하고, 결합된 영상(이것은 또한 동영상이 된다)을 생성하고 실시간으로 표시 장치(3)에 결합된 영상을 표시하기 위해 메뉴 또는 커서와 같은 객체를 나타내는 객체 영상을 조작자의 눈 또는 손과 같은 주목되는 객체(이후, 주목되는 영상은 "표적"이라 한다)이 있는 반사된 동영상의 부분과 결합한다.
반사된 동영상은 캠코더(1)에 의해 캡쳐된 동영상을 영상 처리기(2)에 의한 반사(영상의 좌/우 반전)에 의해 생성될 수 있다. 선택적으로, 거울이 캠코더(1) 앞에 위치될 수도 있고, 조작자를 반사하는 거울 표면의 동영상의 그림이 반사된 동영상을 형성하기 위해 캠코더(1)에 의해 취해질 수도 있다. 이 경우에, 표적의 동작에 따라 실시간으로 표시 모드가 변하는 결합된 영상이 표시 장치(3)에 표시된 다.
영상 처리기(2)는 컴퓨터 프로그램을 사용하여 원하는 기능들을 제공하는 컴퓨터에 의해 이행된다.
도 2에 실시예로서 도시된 하드웨어 구성으로서, 이 실시형태의 컴퓨터는 2개의 버스들을 갖고, 특정 기능들을 각각 갖는 복수의 반도체 장치들이 메인 버스(B1)와 서브 버스(B2)에 연결된다. 이들 버스들(B1, B2)은 버스 인터페이스(INT)를 통해 서로 연결되고 분리된다.
메인 버스(B1)는 메인 반도체 장치인 메인 CPU(10), RAM으로 구성된 메인 메모리(11), DMAC(12: Direct Memory Access Controller), MDEC(13: MPEG(Moving Picture Experts Group) decoder) 및 그림 메모리로서 기능하는 프레임 메모리(15)를 포함하는 그래픽 처리부(14: 이후 "GPU"라 한다)에 연결된다. GPU(14)는 프레임 메모리(15)의 데이타가 표시 장치(3)에 표시되는 것을 허용하는 비디오 신호를 생성하기 위해 CRTC(16: CRT Controller)에 연결된다.
컴퓨터의 활동으로, 메인 CPU(10)는 버스 인터페이스(INT)를 통해 서브 버스(B2)에 ROM(23)으로부터 부트스트랩(bootstrap) 프로그램을 판독하고 부트스트랩 프로그램을 실행하여 운영 시스템을 시작한다. 메인 CPU(10)는 또한 미디어 드라이브(27)를 제어하고, 이 미디어 드라이브(27)로 로드된 매체(28)로부터 응용 프로그램과 데이타를 판독하고 이들을 메인 메모리(11)에 저장한다. 메인 CPU(10)는 또한 매체(28)로부터 판독된 다양한 데이타들을 연결된 객체들의 형태들과 동작을 설정하는, 예를 들면, 복수의 기본 그래픽들(폴리곤들)로 구성된 삼차원 객체 데이 타(폴리곤의 정점들(대표점들)의 좌표 값들)의 기하학 처리(좌표값 산출 처리)를 수행하고, 기하학 처리된 폴리곤 정의 정보(사용된 폴리곤의 형태 특징들, 폴리곤 성분의 도시되는 위치, 형태, 색상 또는 텍스쳐 등)를 포함하는 표시 리스트를 생성한다.
GPU(14)는 그림 상황(context)(폴리곤 성분들을 포함하는 그림 데이타)을 보유하는 반도체 장치이다. GPU(14)는 렌더링 처리를 수행하기 위해 메인 CPU(10)로부터 보내진 표시 리스트에 따라 필요한 그림 상황을 판독하고 프레임 메모리(15)에 폴리곤들을 그리는 기능들을 갖는다. 프레임 메모리(15)는 또한 텍스쳐 메모리로서 사용될 수 있기 때문에, 프레임 메모리에 저장된 어떠한 픽셀 영상도 그려질 폴리곤에 텍스쳐로서 붙게 될 수 있다.
메인 DMAC(12)은 메인 버스(B1)에 연결된 각 회로에 DMA 전송을 제어할 뿐만 아니라, 버스 인터페이스(INT)의 상태에 따라 서브 버스(B2)에 연결된 각 회로에 DMA 전송을 제어한다. MDEC(13)은, 예를 들면 MPEG(Moving Picture Experts Group) 또는 JPEG(Joint Photographic Experts Group) 형태와 같은, 압축된 데이타의 압축을 해제하기 위해 메인 CPU(10)와 병렬로 연결되어 동작한다.
서브 버스(B2)는 마이크로프로세서를 포함하는 서브 CPU(20), RAM으로 형성된 서브 메모리(21), 서브 DMAC(22), 운영 시스템과 같은 제어 프로그램들이 저장된 ROM(23), 음향 메모리(25)에 저장된 음향 데이타를 판독하고 동일한 음향 출력을 만드는 SPU(24: Sound Processing Unit), 네트워크(도시되지 않음)를 통해 외부 장치로/로부터 정보를 송신/수신하는 ATM(26: communication control unit), CD- ROM 및 DVD-ROM과 같은 매체(28)가 로드되는 미디어 드라이브(27) 및 입력 장치(31)와 연결된다.
서브 CPU(20)는 ROM(23)에 저장된 제어 프로그램에 따라 다양한 조작들을 제어한다. 서브 DMAC(22)은 버스 인터페이스(INT)가 서브 버스(B2)로부터 메인 버스(B1)의 연결을 차단하는 경우에만 서브 버스(B2)에 연결된 각 회로로 DMA 전송과 같은 조작을 제어하는 반도체 장치이다. 입력부(31)는 조작 장치로부터의 입력 신호가 수신되는 연결 단자(32), 캠코더(1)로부터의 영상 신호가 수신되는 연결 단자(33) 및 캠코더(1)로부터의 음향 신호가 수신되는 연결 단자(34)를 포함한다.
이 상세한 설명은 편의상, 단지 영상들에 관한 것이고 음향에 관한 것이 아님을 유의해야 한다.
전술한 구조를 갖는 컴퓨터에서, 메인 CPU(10), 서브 CPU(20) 및 GPU(14)는 영상 처리기(2)로서 조작을 위해 필요한 기능 블럭들을 형성하기 위해 ROM(23)과 매체(28)와 같은 저장 매체에 저장된 소정의 컴퓨터 프로그램을 판독하고 실행한다: 영상 처리기는 영상 입력 장치(101), 영상 반전기(102), 객체 데이타 저장 장치(103), 객체 데이타 입력 장치(104), 객체 제어기(105), 합성(superimposing) 영상 생성기(106), 차이값 검출기(107) 및 표시 제어기(108)이다. 도 1에 도시된 하드웨어와의 관계에서, 영상 입력 장치(101)는 이들의 조작을 제어하는 입력 장치(31)와 서브 CPU(20)로 형성된다. 영상 반전기(102), 객체 데이타 입력 장치(104), 객체 제어기(105) 및 차이값 검출기(107)는 메인 CPU(10)로 형성된다. 합성 영상 생성기(106)는 GPU(14)로 형성된다. 표시 제어기(108)는 서로 협력하는 GPU(14)와 CRTC(16)로 형성된다. 객체 데이타 저장 장치(103)는 메인 CPU(10)에 억세스가능한 메인 메모리(11)와 같은 메모리 영역에 형성된다.
영상 입력 장치(101)는 입력 장치(31)의 연결 단자(33)를 통해 캠코더(10)에 의해 취해진 영상들을 수신한다. 도착한 영상이 디지탈 영상인 경우에, 영상 입력 장치(101)는 그 영상을 수신한다. 도착한 영상이 아날로그 영상인 경우에, 영상 입력 장치(101)는 이를 A/D 변환한 후에 이 영상을 수신한다.
영상 반전기(102)는 반사 처리, 즉, 반사된 동영상을 형성하기 위해 영상 입력 장치(101)에 의해 수신된 영상에 우/좌 반전을 수행한다.
객체 데이타 저장 장치(103)는 메뉴(서브 메뉴를 포함하는), 매치스틱(matchstick) 또는 커서와 같은 객체를 생성하기 위한 객체 데이타를 인식 데이타와 함께 보유한다.
객체 데이타 입력 장치(104)는 객체 데이타 저장 장치(103)로부터 필요한 객체 데이타를 수신하고 이들을 객체 제어기(105)로 보낸다. 수신되는 객체 데이타는 객체 제어기(105)에 의해 지시된다.
객체 제어기(105)는 지시에 따라 객체 데이타 입력 장치(104)로부터 합쳐진 객체 데이타를 기초로 객체 영상을 생성한다. 특히, 객체 제어기(105)는 차이값 검출기(107)로부터 보내진 차이값을 기초로 주어진 객체의 표시 상태들을 결정하고 표시 상태들을 구체화하기 위해 객체 영상을 생성한다. 차이값은 후술될 것이다.
합성 영상 생성기(106)는 프레임 메모리(15)에 결합된 영상을 그리고, 객체 데이타에 영상 반전기(102)로부터 제공된 반사된 동영상을 합성하여 얻어진 결합된 영상은 객체 제어기(105)에 의해 생성된다.
객체 영상은 결합된 영상을 생성하기 위해 객체 영상의 합성 처리가 아닌 부가(impose) 처리를 사용하여 반사된 동영상에 표시될 수 있음을 유의해야 한다.
차이값 검출기(107)는 프레임 기초에 의한 프레임에, 합성 영상 생성기(106)에 의해 생성된 결합된 영상의 반사된 동영상의 영상 형태를 비교하고, 선행하는 반사된 동영상들과 뒤따르는 프레임들 사이의 영상 형태의 차이값을 얻는다. 또한, 차이값 검출기(107)는 선행하는 반사된 동영상들과 뒤따르는 프레임들 사이의 차이 영상을 필요에 따라 생성한다.
영상 형태의 차이값은 반사된 동영상에 포함된 표적의 동작 성분의 프레임 당 변화를 분량적으로 나타내는 값이다. 예를 들면, 차이값은 반사된 동영상에서 표적이 움직인 차이 또는 이 동작 이후의 영역과 이 동작 이전의 영역 사이의 영역의 차이를 나타낸다.
복수의 표적들이 하나의 반사된 동영상내에 포함되는 경우, 영상 형태의 차이값들은 개별 표적들의 동작에서의 변동들을 나타낸다. 그러므로, 이 차이값을 산출하여 각 표적의 동작 변동을 분량적으로 산출하는 것이 가능하다.
차이 영상은 주어진 시간에 반사된 동영상에 포함된 각 표적의 프레임 당 동작의 변동을 나타내는 영상이다. 예를 들면, 두 개의 반사된 동영상들 사이에 표적의 위치가 움직이는 경우, 차이 영상은 이 동작 이전의 표적의 영상과 이 동작 이후에 표적의 영상으로 만들어진다.
차이값과 차이 영상을 얻기 위해, 차이값 검출기(107)는 다른 프레임들의 반 사된 동영상들에 관한 "참조 영상"으로서 소정의 반사된 동영상을 메인 메모리(11)에 저장한다. 저장되는 반사된 동영상은 한 프레임의 전체 반사된 동영상이 될 수도 있다. 선택적으로, 영상 형태에서 차이값을 얻는 것이 가능하도록 만들기 위해 모두가 필요로 하기 때문에 표적의 일부만이 반사된 동영상이 될 수도 있다.
다음 설명에서, 표적의 영역과 영상의 나머지 영역 사이에 구별이 만들어 질 때마다, 이와 같은 표적의 영역은 "템플릿 영상"이라 불린다.
차이값 검출기(107)에 의해 검출된 차이값은 객체 제어기(105)로 보내지고 객체 영상들의 동작들을 제어하기 위해 사용된다.
표시 제어기(108)는 합성 영상 생성기(106)에 의해 생성된 결합된 영상을 비디오 신호로 변환하고 이를 표시 장치(3)로 제공한다. 표시 장치(3)는 결합된 영상(동영상)을 이 비디오 신호를 사용하여 스크린에 표시한다.
<영상 처리 방법>
다음으로, 전술된 영상 처리 시스템을 사용하여 수행된 영상 처리 방법의 실시형태가 기술된다.
[실시형태 1]
영상 처리기(2)가 도 6에 도시된 바와 같이, 객체 영상 합성의 실시예로서 메뉴 영상으로, 캠코더(1)에 의해 취해진 조작자의 반사된 동영상과 반사된 것으로 구성된 결합 영상을 표시 장치(3)에 만들어낸다고 가정한다.
표적으로서, 조작자의 눈, 입 및 손들과 같은 다양한 객체들의 어느 하나가 선택될 수 있다. 여기서, 설명은 결합된 영상에서, 조작자의 손이 표적에 대응하고 명령들은 메뉴 영상이 표시되는 영역에서 손의 동작 량을 검출하여 메뉴 영상과 함께 지시되는 경우를 결합하여 만들어진다.
메뉴 영상은 도 7에 도시된 바와 같이 게층적 구조를 갖는다. 조작자가 최상위 층에서 "메뉴"를 선택하는 경우, 하위층에서 "select1", "select2" 또는 "select3"의 하나를 하이라이트(highlight)하는 풀-다운(pull-down) 영상이 표시된다. 풀-다운 메뉴로부터 한 아이템이 선택되는 경우, 선택된 풀-다운 영상의 하위층에서 메뉴의 처리 결정 영상(예를 들면, "process21", "process22", "process23, "process24")이 표시된다.
처리 결정 영상은 객체 데이타 저장 장치(103)에 저장되어 메인 CPU(10)가 소정의 처리(이벤트)를 실행하도록 프로그램과 연결된다. 소정의 처리 결정 영상이 선택된 경우, 이와 연결된 프로그램은 대응하는 처리(이벤트)를 실행하기 위해 동작한다.
도 4 및 도 5는 이와 같은 조작들이 가능하도록 영상 처리기(2)에 의해 수행되는 처리 진행을 도시한다.
먼저, 도 4를 참조로, 반사된 동영상이 다음 프레임의 것으로 업데이트되고 합성 영상 생성기(106)에 의해 생성된 결합된 영상이 따라서 업데이트 되는 경우(단계 S101), 차이값 검출기(107)는 업데이트 이전과 이후의 결합된 영상에 포함된 반사된 동영상의 영상 형태를 비교하고, 이들 사이의 차이값을 산출한다(단계 S102). 여기서 산출된 차이값은 메뉴 영상이 표시된 영역에서 조작자 손의 한 동작을 나타내는 값이다. 산출된 차이값들은 메인 메모리(11)에 기록되고 소정의 시간 동안 누적되어 더해진다(단계 S103). 차이값들이 누적되어 더해지는 이유는 조작 명령에 조작자의 의도가 조작자 손의 복수의 동작들을 기초로 영상 처리기(2)에 의해 감지되기 때문이다. 조작 명령에 조작자의 의도가 손의 하나의 동작의 양에 따라 결정될 수 있다면, 누적되는 더함이 항상 수행될 필요는 없다.
차이값 검출기(107)는 차이값(누적되는 합계)을 객체 제어기(105)로 보낸다.
객체 제어기(105)는 차이값 검출기(107)로부터 수신된 차이값(누적되는 합계)에 따라 메뉴 영상의 색상을 결정한다(단계 S104). 예를 들면, 둘 또는 그 이상의 색상들이 메뉴 영상을 위해 제공되고 이 색상은 각 시간마다 손의 동작이 변하는 것을 검출될 때마다 변한다. 이는 또한 투명으로부터 반투명, 불투명 등으로 색상을 변하게 하는 것도 가능하다. 실제 차이값(누적 합계)는 소정의 문턱값과 비교된다(단계 S105). 누적 합계가 문턱값보다 작은 경우(단계 S105: N), 순서는 단계 S101로 돌아가고, 선택된 메뉴 스크린의 "menu"가 결정하기에 충분하지 않다는 것으로 가정한다.
누적 합계가 문턱값과 같거나 큰 경우(단계 S105: Y), 객체 제어기(105)는 메뉴 스크린의 "menu"가 선택된 것으로 결정하고, 풀-다운 영상을 표시하고, 차이값 검출기(107)로 이를 보고한다(단계 S106).
상술한 것으로부터 명백한 바와 같이, 메뉴 영상의 영역에서 검출된 조작자 손의 동작의 누적 합계가 문턱값과 같거나 큰 경우, 메뉴 영상의 "menu" 선택이 감지되고 풀-다운 영상이 표시된다. 메뉴 영상의 색상은 손의 동작의 양의 누적 합계에 따라 변하고, 그러므로 조작자는 "menu"를 선택하기 위해 필요한 손의 추가적 동작의 대략적 양을 알 수 있다.
또한, 표시 장치(3)가 반사된 동영상을 나타내기 때문에, 조작자는 조작자가 거울에서 보는 것과 같은 방법으로 전술된 조작을 수행할 수 있고, 조작자가 조작하기 쉬운 맨-머신 인터페이스를 제공한다.
도 5로 돌아가서, 메뉴 스크린에서 "menu"가 선택되는 결정이 된 경우, 차이값(누적 합계)은 문턱값과 같거나 커지게 되고, 차이값 검출기(107)는 템플릿 영상으로서 이때의 조작자의 손(표적)의 영상을 저장한다(단계 S107).
프레임이 업데이트되고 메뉴 영상이 결합된 영상을 표시하기 위해 하위층에 풀-다운 영상에 의해 위치되는 경우(단계 S108), 검색이 새로운 결합된 영상에서 조작자의 손의 영상의 위치를 위해 시작된다. 즉, 차이값 검출기(107)는 결합된 영상으로부터 템플릿 영상에 매치(match)하는 영상을 검색한다(단계 S109).
더 상세하게는, 이것은 템플릿 영상과 같은 크기의 영역들로 결합된 영상을 나누고, 나누어진 영역들에서의 영상들 사이에서부터 템플릿 영상과 가장 닮은 영상을 검색한다. 이 영역에서 템플릿 영상과 가장 닮은 이 영상은, 예를 들면, 비교된 영상들의 픽셀들 사이의 차이의 절대값(또는 정사각형)들의 전체 합계가 거리로서 표현될 수 있는 경우, 템플릿 영상으로부터의 거리가 가장 작은 영상이다.
매치된 영상이 발견되는 경우(단계 S110: Y), 매치된 영상이 풀-다운 영상인지 아닌지가 결정된다(단계 S111). 매치된 영상이 풀-다운 영상인 경우(단계 S111: Y), 풀-다운 영상이 "select1", "select2" 또는 "select3"의 영역으로 검출된다(단계 S112). 검출된 풀-다운 영상은 조작자에 의해 지시되고 선택된 풀-다운 영상이 다. 선택된 풀-다운 영상에서의 정보는 차이값 검출기(107)로부터 객체 제어기(105)로 보고된다.
객체 제어기(105)는 객체 데이타 저장 장치(103)로부터 선택된 풀-다운 영상을 수반하는 영상을 결정하는 처리를 판독하고, 영상을 결정하는 처리가 첨가된 객체 영상을 생성한다(단계 S113).
도 7의 실시예에서, "select2"의 풀-다운 영상은 최상위층에서의 메뉴 영상으로부터 선택되고 "select2"의 풀-다운 영상을 수반하는 영상들을 결정하는 처리("process21", "process22", "process23" 및 "process24")가 표시된다.
템플릿 영상은 각 프레임마다 리프레쉬(refresh)된다.
더 상세하게는, 차이값 검출기(107)는 프레임 진행을 위해 사용되는 템플릿 영상을 버리고 새로운 템플릿 영상으로서 전술된 매치된 영상(풀-다운 영상을 선택하기 위해 사용된 조작자 손의 영상)을 저장한다(단계 S114). 이후, 과정은 전술한 방법에서 영상들을 결정하는 처리("process21", "process22", "process23" 및 "process24")의 하나를 특정하기 위해 단계 S108로 돌아간다.
단계 S111에서, 매치된 영상이 풀-다운 영상의 영역 외부이고 영상 영역을 결정하는 처리내의 영상들을 결정하는 처리의 하나인 경우(단계 S111: N, S115: Y), 영상을 결정하는 처리는 선택된 것으로 가정되고 이에 연결된 처리의 내용이 결정되어, 즉, 이 프로그램은 동작되고 메뉴 영상을 사용하는 처리가 끝난다(단계 S118).
매치된 영상이 풀-다운 영상의 영역의 외부이고 영상을 결정하는 처리가 메 뉴 영상 영역내인 경우(단계 S111: N, S115: N, S116: Y), 이는 조작자가 다른 풀-다운 영상을 선택하려는 것을 의미하고, 그러므로 과정은 템플릿 영상을 버리고 새로운 템플릿 영상으로서 매치된 영상을 저장하고 단계 S108로 돌아간다(단계 S117).
단계 S110에서, 비교된 매치된 영상이 발견되지 않거나(단계 S110: N) 매치된 영상이 발견되나 메뉴 영상 영역의 외부 영상인 경우, 메뉴 영상과의 처리는 즉시 종료된다(단계 S111: N, S115: N, S116: N).
전술된 순서에서 메뉴 영상을 사용하는 처리가 수행되는 것에 의해, 조작자는 표시 장치(3)의 스크린에 나타난 그 자신 또는 그녀 자신의 반사된 동영상을 보면서 원하는 내용으로 쉽게 처리를 선택할 수 있다. 또한, 조작자는 어느 때나 그 또는 그녀 자신의 행동을 검사하면서 명령들을 넣을 수 있고, 이는 조작자가 키보드와 같은 입력 장치를 사용하는 경우와 같이 표시 장치(3)로부터 그/그녀의 눈들을 돌리는 것을 방지한다.
[실시형태 2]
이 실시형태에 따른 영상 처리 시스템을 사용하여, 객체 영상 사이의 연결을 수립하고, 이벤트를 수행하기 위한 메인 CPU(10)에 의해 사용되는 프로그램이 영상 처리에 사용되는 것이 가능하여, 관련된 이벤트의 처리가 객체 영상에 반사된 동영상 내의 조작자의 행동에 따라 실행된다.
반사된 동영상에 합성되는 객체 영상의 예로서, 이 실시형태는 성냥의 영상과 성냥이 불꽃으로 불타고 폭발하는 것을 나타내는 불꽃의 영상을 사용하는 경우 를 도시한다.
전제로서, 객체 영상인 성냥의 영상은 표시 장치(3)에 불타는 애니메이션을 표시하기 위해 사용되는 프로그램과 미리 연결되고, 성냥이 불타도록 지시한다. 다음으로, 반사된 동영상에서 조작자가 그/그녀가 결합된 영상 내의 성냥의 영상을 긋는 것과 같은 행동을 하는 경우, 불타는 애니메이션이 불꽃을 만드는 한 단부에 대응하는 성냥 영상의 일부에 나타나도록 지시된다. 불꽃의 영상은 조작자가 성냥을 긋는 경우에 표시된다.
불꽃의 영상은 예를 들면, 반복적 텍스쳐 그림의 기술을 사용하여 생성될 수 있다.
"반복적 텍스쳐 그림"은 텍스쳐 맵핑(mapping)에 의해 만들어진 객체의 영상으로부터 주어진 영상의 텍스쳐를 재건하고 반복적으로 텍스쳐 맵핑을 수행하는 그림 기술을 말한다. "텍스쳐 맵핑"은 객체의 표면에 객체의 영상을 향상시키기 위해 텍스쳐의 비트맵(bitmap) 데이타를 붙이는 기술이고 텍스쳐 메모리로서 프레임 메모리(15)를 또한 사용하여 이행될 수 있다. 이와 같은 반복적 텍스쳐 그림을 수행하는 경우, 고로드 쉐이딩(Gouraud shading)이 텍스쳐가 그려지는 폴리곤에 적용된다. 한편, 고로드 쉐이딩은 폴리곤의 각 정점의 밝기를 산출하고 폴리곤 내부의 밝기를 얻기 위해 정점들 사이를 삽입한다(이 기술은 "고로드 텍스쳐 맵핑"이라 불린다).
불꽃 영상을 제공하기 위하여, 불꽃 영상을 형성하는 그물 내의 정점들의 위치가 도 10에 도시된 바와 같이 무작위 숫자를 사용하여 이동되고 새로운 정점들의 위치들이 결정된다. 이 정점들의 밝기는 또한 무작위 숫자들을 기초로 결정된다. 정점들의 위치와 정점들의 밝기가 프레임이 업데이트될 때마다 결정된다. 불꽃 영상을 형성하는 그물의 각 단위는 폴리곤이다.
각 폴리곤에, 프레임 메모리(15)에서 그려지는 불꽃의 기본이 되는 영상은 전술된 반복적 텍스쳐 그림을 통해 형성되고 전술된 고로드 쉐이딩이 폴리곤의 각 정점의 밝기를 기초로 적용된다. 이것은 좀 더 현실 적인 방법으로 불꽃 위의 공기를 높이고, 아른거리게 하고(shimmering), 불꽃을 어둡게하는 것을 제조할 수 있도록 한다.
영상 처리기(2)가 표시 장치(3)에 조작작의 반사된 동영상에 성냥의 영상을 합성하여, 도 9에 도시된 바와 같은 결합된 영상을 제조하는 것으로 가정한다. 여기서, 표적은 조작자의 손이다. 성냥의 영상이 표시되는 영역에서 손의 동작의 양을 검출하는 것에 의해, 성냥의 영상과 연결된 프로그램이 실행되고 불타는 애니메이션이 표시 장치(3)에 표시된다.
도 8은 이와 같은 조작을 현실화하기 위해 영상 처리기(2)에 의해 수행되는 처리 진행을 도시한다.
반사된 동영상이 다음 프레임의 것으로 업데이트되고 합성 영상 생성기(106)에 의해 생성된 결합된 영상이 이에 따라 업데이트되는 경우(단계 S301), 차이값 검출기(107)는 업데이트 이전과 이후의 결합된 영상들에 포함된 반사된 동영상들의 영상 형태들을 비교하고, 성냥 영상의 불타는 구획에서 영상들 사이의 차이값을 산출하고, 성냥 영상의 불타는 구획의 차이 영상을 생성한다(단계 S202). 여기서 산 출된 차이값은 성냥 영상의 불타는 구획 주위의 손 동작을 분량적으로 나타내는 값이다. 생성된 차이 영상은 성냥 영상의 불타는 구획 주변의 손의 동작 전과 이후의 영상들로 만들어진 영상이다.
산출된 차이값은 메인 메모리(11)에 저장되고 소정의 시간동안 누적하여 더해진다(단계 S203).
차이값 검출기(107)는 객체 제어기(105)로 차이 영상들과 차이값들의 누적되는 합계인 누적 합계를 보낸다.
객체 제어기(105)는 차이값 검출기(107)로부터 수신된 누적되는 합계에 따라 차이 영상의 색상을 결정하고, 이 차이 영상을 기초로 불꽃 영상을 생성한다(단계 S204). 이 불꽃 영상은 예를 들면, 그물로 다른 영상들을 나누고 이들 그물을 기초로 전술된 반복적인 텍스쳐를 사용하여 생성된다. 이 불꽃 영상의 색상은 차이 영상의 색상에 따라 결정된다. 생성된 불꽃 영상은 성냥 영상의 불타는 구획에 합성된다.
이 방법에서, 더해진 손 동작의 양에 따른 색상의 불꽃 영상이 성냥 영상 불타는 구획 주위의 손의 동작을 나타내는 영역에 표시된다.
차이 값들의 누적되는 합계에 따라 불꽃 영상의 색상을 결정하는 것은, 예를 들면, 손의 동작 양에 따라 성냥의 불타는 구획에서 표시되는 불꽃 영상의 색상이 어떻게 서서히 변하는지를 표현하는 것이 가능하게 한다.
다음으로, 객체 제어기(105)는 소정의 문턱값과 불꽃 영상의 색상을 나타내는 값을 비교한다(단계 S205). 예를 들면, 불꽃 영상의 색상이 R, G 및 B로 나타나 는 경우, 값들의 합계가 사용될 수도 있다.
색상을 나타내는 값이 문턱값과 같거나 큰 경우(단계 S205: Y), 객체 제어기(105)는 성냥이 불타는 것을 나타내는 불타는 애니메이션을 표시하는 프로그램의 구동을 결정한다(단계 S206).
즉, 불타는 애니메이션이 시작될지 아닌지는 불꽃 영상의 색상에 따라 결정된다. 예를 들면, 불꽃 영상의 색상이 손의 동작 양에 따라 빨간색으로부터 노란색으로 변하는 경우, 불타는 불꽃 영상이 노란색으로 바뀌는 경우에 시작한다. 조작자는 불타는 애니메이션을 시작하는데 필요한 손의 동작의 추가적인 대략의 양을 알 수 있다.
합성 영상 생성기(106)는 캠코더(1)에 의해 얻어진 반사된 동영상에, 성냥 영상과 불꽃 영상을 포함하는 객체 영상에 불타는 애니메이션을 합성하는 영상 합성에 의해 결합된 영상을 생성한다(단계 S207). 불타는 애니메이션은 성냥 영상의 불타는 구획에 표시된다.
색상을 나타내는 값이 문턱값보다 작은 경우(단계 S205: N), 객체 제어기(105)는 합성 영상 생성기(106)로 성냥 영상에 불꽃 영상을 합성하는 객체 영상을 보낸다. 합성 영상 생성기(106)는 캠코더(1)에 의해 얻어진 반사된 동영상에 이 객체 영상을 합성하여 얻어진 영상을 생성한다(단계 S208).
다음으로, 만약에, 예를 들면, 처리를 종료하는 명령이 조작 장치(35)로부터 수신되면, 이 처리는 종료된다(단계 S209: Y). 처리를 종료하는 명령이 수신되지 않은 경우(단계 S209: N), 과정은 단계 S201로 복귀하고 표시 제어기(108)는 단계 S207 또는 단계 S208에서 생성된 결합된 영상을 표시 장치(3)에 표시한다.
전술된 바로부터 명백한 바와 같이, 이 시스템은 얼마나 많이 조작자가 성냥 영상의 불타는 구획 주위로 그/그녀의 손을 움직이는지에 따라, 성냥 영상과 연결된 불타는 애니메이션을 표시하기 위한 프로그램을 실행할지 안할지를 결정하는 처리를 실행한다.
조작자가 그 또는 그녀 자신의 반사된 동영상을 보면서 다양한 이벤트들을 실행하기 위한 조작들을 수행할 수 있기 때문에, 키보드와 마우스와 같은 입력 장치를 사용하는 종래의 조작보다 더 쉽게 처리들을 실행하기 위한 입력 조작들을 수행하는 것을 가능하게 한다.
[실시형태 3]
다른 실시형태가 기술된다. 전제로서, 영상 처리기(2)는 도 13a에 도시된 바와 같이, 조작자의 반사된 동영상에 합성된 객체 영상의 실시예로서 커서(포인터) 영상과 결합된 영상을 표시 장치(3)에 산출하는 것으로 가정한다. 또한 조작자의 손들, 눈들 입과 같은 복수의 표적들이 반사된 동영상에 포함되는 것으로 가정한다.
여기서, 설명은 조작자의 손의 동작이 복수의 표적들 사이에 강조된 경우와, 커서 영상이 손의 이 동작에 따르는 경우를 결합하여 이루어진다.
도 13a에 도시된 바와 같이, 커서 영상은 눈들이 강조된 얼굴과 같은 영상이고, 눈들이 표적으로 향하는 것을 허용한다. 또한, 커서 영상은 표적의 동작을 따라 움직인다. 더 상세하게는, 커서 영상이 표적으로부터 떨어진 경우에, 커서 영상 은 표적을 향해 움직인다. 커서 영상이 표적을 따라 잡는 경우, 커서 영상은 표적의 동작을 따른다.
도 11과 도 12는 각 조작들이 가능하도록 영상 처리기(2)에 의해 수행된 처리의 진행을 도시한다.
도 11에 따르면, 반사된 동영상이 이후 프레임의 것으로 업데이트되는 경우와 합성 영상 생성기(106)에 의해 생성된 결합된 영상이 이에 따라 업데이트 되는 경우에(단계 S301), 차이값 검출기(107)는 업데이트 이전과 이후의 결합된 영상들에 포함된 반사된 동영상의 영상 형태들을 비교하고 이들 사이의 차이값들을 산출한다(단계 S302). 여기서 계산된 차이값은 반사된 동영상에서 표적의 좌표가 되는 조작자의 손들, 눈들, 입 등의 동작들을 정량화하는 값이다.
차이값 검출기(107)는 각 표적의 차이값을 객체 제어기(105)로 보낸다.
객체 제어기(105)는 차이값 검출기(107)로부터 보내진 각 표적의 차이값에 따라 하나의 표적을 검출한다(단계 S303). 예를 들면, 객체 제어기는 차이값이 최대값이 되는 표적을 검출한다. 이 실시예에서, 조작자의 손이 표적으로서 검출되는 것으로 가정한다.
표적의 검출에서, 객체 제어기(105)는 표적에 따라 어떻게 커서 영상이 표시될지를 결정한다.
먼저, 객체 제어기(105)는 단계 S310에서 업데이트된 결합된 영상에서 표적이 커서 영상의 외측에 있는지 아닌지를 결정한다(단계 S304). 표적이 커서 영상 내에 있는 경우(단계 S304: N), 객체 제어기(105)는 커서 영상이 표적을 따라 잡았 다고 결정한다(단계 S308).
표적이 커서 영상의 외측에 있는 경우(단계 S304: Y), 객체 제어기(105)는 커서 영상이 표적을 따라잡지 않았다고 결정하고, 커서 영상이 어떻게 표시될지를 결정하는 처리를 수행한다. 즉, 객체 제어기(105)는 커서 영상을 생성하여 커서 영상에서의 눈들이 표적을 향하게 된다.
또한, 커서 영상이 커서 영상과 표적 사이의 거리에 따라 표적으로 움직이는 속도를 결정한다(단계 S306). 이 속도는 표적으로부터 커서 영상이 멀어질수록 높아질 수도 있다. 이것은 커서 영상이 표적으로부터 멀리에 머무름에 따라 표적으로 커서가 움직이는 속도를 빠르게 하는 영상을 얻는 것이 가능하게 한다.
합성 영상 생성기(106)는 도 13a에 도시된 바와 같이 결합된 영상을 생성하기 위해 다음 프레임의 반사된 동영상에 커서 영상과 같은 것을 합성한다(단계 S307). 다음으로, 과정은 단계 S301로 복귀하고, 결합된 영상을 생성하기 위한 같은 조작을 수행한다.
과정은 커서 영상이 표적을 따라 잡을 때까지, 즉, 단계 S304에서 표적이 커서 영상 내에 있다는 것이 결정될 때 까지, 단계 S301~단계 S307의 조작을 수행한다.
이와 같은 조작은 커서 영상에서의 눈들이 표적으로 향하고 커서 영상이 표적을 따르는 도 13a에 도시된 바와 같은 영상을 제공할 수 있다.
다음으로, 도 12로 돌아가서, 커서 영상이 표적을 따라 잡은 경우, 차이값 검출기(107)는 템플릿 영상으로서 이때의 표적의 영상을 보유한다(단계 S309). 예 를 들면, 커서 영상과 겹쳐지는 반사된 동영상의 구획을 템플릿 영상으로서 보유한다.
다음으로, 차이값 검출기(107)는 영상 반전기(102)로부터 다음 프레임의 반사된 동영상을 얻는다(단계 S310). 차이값 검출기(107)는 얻어진 반사된 동영상 사이로부터 저장된 템플릿 영상과 매치하는 영상의 위치를 검색한다(단계 S311).
더 상세하게는, 이는 얻어진 반사된 동영상을 템플릿 영상의 것과 같은 크기로 나누고, 나누어진 영역들에서 영상들 사이로부터 템플릿 영상에 가장 닮은 영역의 영상을 검색한다. 검색의 결과로서 매치된 영상을 검출하여, 검출된 영상의 위치를 객체 제어기(105)로 보고한다.
객체 제어기(105)는 다음의 결합된 영상을 위해 커서 영상의 위치로서 차이값 검출기(107)로부터 보고된 위치를 결정한다(단계 S312).
합성 영상 생성기(106)는 차이값 검출기(107)에 의해 단계 S310에서 얻어진 반사된 동영상과 같은 반사된 동영상에 객체 제어기(105)에 의해 단계 S312에서 결정된 위치에서 커서 영상을 합성하고, 도 13b에 도시된 바와 같은 결합된 영상을 생성한다(단계 S313). 다음으로, 이 프레임은 업데이트되고 표시 제어기(108)가 표시 장치(3)에 생성된 결합된 영상을 표시한다(A314).
표적이 따라 잡힐 후에 전술된 조작들을 반복하는 것은(단계 S309~단계 S314) 커서 영상이 표적을 따르는 영상을 제공한다. 더 상세하게는, 커서 영상이 도 13b에 도시된 바와 같이 표적(손)을 따라 잡은 경우, 이후의 커서 영상은 표적이 움직일 때마다 표적의 목적지에서 표시된다. 조작자가 손을 도 13b~도 13c에 도 시된 바와 같이 손을 뻗는 경우일지라도, 커서 영상은 표적으로서 인식된 손의 동작과 함께 조작자의 뻗어진 손의 끝에 표시된다.
커서 영상을 사용하는 것은 예를 들면, 실시형태 1에 나타난 바와 같이 메뉴 영상으로부터의 처리가 선택되는 경우에 커서로서 기능하는 그 또는 그녀의 신체의 일부를 조작자가 발견하는 것을 허용한다.
또한, 만일, 예를 들면, 커서 영상의 동작의 흔적이 유지되고 표시되도록 설정되는 경우, 표시 장치(3)에 표적의 동작의 흔적을 도시하는 것이 가능하다. 이는 예를 들면, 그림들과 캐릭터들을 표시 장치(3)의 공간에 그리는 것을 가능하게 한다.
전술된 설명으로부터 명백한 바와 같이, 조작자가 데이타 등을 넣을 필요가 있는 경우, 본 발명은 조작자가 표시 장치에 표시된 결합된 영상을 보면서 반사된 동영상을 사용하여 데이타를 쉽게 넣거나 선택하는 것을 허용하고, 이에 의해 사용자에게 친숙한 입력 인터페이스를 이에 익숙해질 필요 없이 제공할 수 있다.
다양한 실시형태들, 변화들 및 수정들이 본 발명의 폭넓은 정신과 사상으로부터 멀어짐 없이 만들어 질 수도 있다. 전술된 실시형태들은 설명을 위한 것이고 본 발명의 정신을 한정하지 않는다. 본 발명의 정신은 이 실시형태들보다 첨부된 청구범위에 의해 정의된다. 첨부된 청구범위의 사상내의 다양한 실시형태들과 이에 대한 균등물들이 본 발명의 사상 내에서 관찰된다.
본 발명에 따르면 사용자가 명령들을 넣는 것을 허용하는 입력 인터페이스로 서 영상 픽업 장치 등에 의해 취해진 영상들을 사용하기 위한 영상 처리 기술을 제공할 수 있다.

Claims (11)

  1. 움직이는 표적을 포함하는 부분을 갖는 반사된 동영상을 시계열적으로 캡쳐하는 영상 캡쳐 수단;
    현재의 반사된 동영상과 직전의 반사된 동영상 사이의 영상 특징을 비교하여, 상기 표적의 동작 부분의 변화를 분량적으로 나타내는 영상 특징의 차이값을 도출하는 검출 수단;
    소정의 객체를 나타내며 미리 정해진 일정한 처리와 연결되는 객체 영상을 생성하여 상기 객체 영상이 상기 검출 수단에 의해 도출된 상기 차이값에 따라 변하게 하는 영상 생성 수단; 및
    상기 영상 생성 수단에 의해 생성된 상기 객체 영상을 상기 캡쳐된 반사된 동영상과 결합한 결합 영상을 소정의 표시 장치에 표시하는 제어 수단;을 포함하며,
    상기 검출 수단은, 상기 결합 영상의 상기 객체 영상의 영역 내에 있어서의 상기 차이값의 누적값을 검출하도록 구성되어 있으며,
    상기 영상 생성 수단은, 상기 객체 영상의 색을 상기 검출 수단에 의해 검출된 상기 누적값에 따라 결정하도록 구성되어 있으며,
    상기 누적값이 미리 정해진 일정한 값 이상이 되면 상기 객체 영상과 연결된 상기 미리 정해진 일정한 처리가 실행되도록 구성되는 것을 특징으로 하는 영상 처리기.
  2. 실시간으로 움직이는 표적을 포함하는 부분을 갖는 반사된 동영상을 시계열적으로 캡쳐하는 영상 캡쳐 수단;
    현재의 반사된 동영상과 직전의 반사된 동영상 사이의 영상 특징을 비교하여 상기 표적의 동작 부분의 변화를 분량적으로 나타내는 영상 특징의 차이값을 도출하는 검출 수단;
    소정의 객체를 나타내며 미리 정해진 일정한 처리와 연결되는 객체 영상을 생성하여 상기 객체 영상이 상기 검출 수단에 의해 도출된 상기 차이값에 따라 변하게 하는 영상 생성 수단; 및
    상기 영상 생성 수단에 의해 생성된 상기 객체 영상을 상기 캡쳐된 반사된 동영상과 결합한 결합 영상을 소정의 표시 장치에 표시하는 제어 수단;을 포함하며,
    상기 검출 수단은, 상기 결합 영상의 상기 객체 영상의 영역 내에 있어서의 상기 차이값의 누적값을 검출하도록 구성되어 있으며,
    상기 영상 생성 수단은, 상기 누적값에 따라 상기 객체 영상의 색을 결정하도록 구성되어 있으며,
    상기 객체 영상의 색이 미리 정해진 일정한 색이 되면 상기 객체 영상과 연결된 상기 미리 정해진 일정한 처리가 실행되도록 구성되는 것을 특징으로 하는 영상 처리기.
  3. 소정의 촬영 장치 및 소정의 표시 장치에 연결되어 있으며, 상기 촬영 장치에서 움직이는 표적을 포함하는 부분을 갖는 반사된 동영상을 시계열적으로 캡쳐하여, 상기 반사된 동영상과 소정의 개체를 나타내며 미리 정해진 일정한 처리와 연결된 객체 영상을 결합한 결합 영상을 상기 표시 장치에 표시하는 영상 처리기에 의해 실행되는 영상 처리 방법으로서,
    상기 영상 처리기가,
    현재의 반사된 동영상과 직전의 반사된 동영상 사이의 영상 특징을 비교하여, 상기 결합 영상의 상기 객체 영상 영역 내에 있어서의 상기 표적의 동작 부분의 변화를 분량적으로 나타내는 영상 특징의 차이값의 누적값을 검출하는 단계;
    상기 객체 영상의 색을 상기 검출한 누적값에 따라 결정하는 단계; 및
    상기 누적값이 미리 정해진 일정한 값 이상이 되면, 상기 객체 영상과 연결된 상기 미리 정해진 일정한 처리를 실행하는 단계;를 포함하는 영상 처리 방법.
  4. 소정의 촬영 장치 및 소정의 표시 장치에 연결되어 있으며, 상기 촬영 장치에서 움직이는 표적을 포함하는 부분을 갖는 반사된 동영상을 시계열적으로 캡쳐하여, 상기 반사된 동영상과 소정의 개체를 나타내며 미리 정해진 일정한 처리와 연결된 객체 영상을 결합한 결합 영상을 상기 표시 장치에 표시하는 영상 처리기에 의해 실행되는 영상 처리 방법으로서,
    상기 영상 처리기가,
    현재의 반사된 동영상과 직전의 반사된 동영상 사이의 영상 특징을 비교하여, 상기 결합 영상의 상기 객체 영상 영역 내에 있어서의 상기 표적의 동작 부분의 변화를 분량적으로 나타내는 영상 특징의 차이값의 누적값을 검출하는 단계;
    상기 객체 영상의 색을 상기 검출한 누적값에 따라 결정하는 단계; 및
    상기 객체 영상의 색이 미리 정해진 일정한 색이 되면, 상기 객체 영상과 연결된 상기 미리 정해진 일정한 처리를 실행하는 단계;를 포함하는 영상 처리 방법.
  5. 소정의 표시 장치가 연결된 컴퓨터가,
    움직이는 표적을 포함하는 부분을 갖는 반사된 동영상을 시계열적으로 캡쳐하는 처리;
    현재의 반사된 동영상과 직전의 반사된 동영상 사이에의 영상 특징을 비교하여, 상기 표적의 동작 부분의 변화를 분량적으로 나타내는 영상 특징의 차이값을 도출하는 처리;
    소정의 객체를 나타내며 미리 정해진 일정한 처리와 연결된 객체 영상을, 도출된 상기 차이값에 따라 변하게 하는 처리;
    상기 생성된 객체 영상을 상기 캡쳐한 반사된 동영상과 결합한 결합 영상을 상기 표시 장치에 표시하는 처리;
    상기 결합 영상의 객체 영상의 영역 내에 있어서의 상기 차이값의 누적값을 검출하는 처리;
    상기 누적값에 따라 상기 객체 영상의 색을 결정하는 처리; 및
    상기 누적값이 미리 정해진 일정값 이상이 되면, 상기 객체 영상과 연결된 상기 미리 정해진 일정한 처리를 실행하는 처리;를 실행하도록 하는 컴퓨터 프로그램이 기록된 기록 매체.
  6. 소정의 표시 장치가 연결된 컴퓨터가,
    움직이는 표적을 포함하는 부분을 갖는 반사된 동영상을 시계열적으로 캡쳐하는 처리;
    현재의 반사된 동영상과 직전의 반사된 동영상 사이에의 영상 특징을 비교하여, 상기 표적의 동작 부분의 변화를 분량적으로 나타내는 영상 특징의 차이값을 도출하는 처리;
    소정의 객체를 나타내며 미리 정해진 일정한 처리와 연결된 객체 영상을, 도출된 상기 차이값에 따라 변하게 하는 처리;
    상기 생성된 객체 영상을 상기 캡쳐한 반사된 동영상과 결합한 결합 영상을 상기 표시 장치에 표시하는 처리;
    상기 결합 영상의 객체 영상의 영역 내에 있어서의 상기 차이값의 누적값을 검출하는 처리;
    상기 누적값에 따라 상기 객체 영상의 색을 결정하는 처리; 및
    상기 객체 영상의 색이 미리 정해진 일정한 색이 되면, 상기 객체 영상과 연결된 상기 미리 정해진 일정한 처리를 실행하는 처리;를 실행하도록 하는 컴퓨터 프로그램이 기록된 기록 매체.
  7. 움직이는 표적을 포함하는 부분을 갖는 반사된 동영상을 시계열적으로 캡쳐하는 영상 캡쳐 수단;
    현재의 반사된 동영상과 직전의 반사된 동영상 사이의 영상 특징을 비교하여, 상기 표적의 동작 부분의 변화를 분량적으로 나타내는 영상 특징의 차이값을 도출하는 검출 수단;
    소정의 객체를 나타내며 미리 정해진 일정한 처리와 연결되는 객체 영상을 생성하여 상기 객체 영상이 상기 검출 수단에 의해 도출된 상기 차이값에 따라 변하게 하는 영상 생성 수단; 및
    상기 영상 생성 수단에 의해 생성된 상기 객체 영상을 상기 캡쳐된 반사된 동영상과 결합한 결합 영상을 소정의 표시 장치에 표시하는 제어 수단;의 기능을 형성하도록 하는 반도체 장치로,
    상기 검출 수단은, 상기 결합 영상의 상기 객체 영상의 영역 내에 있어서의 상기 차이값의 누적값을 검출하도록 구성되어 있으며,
    상기 영상 생성 수단은, 상기 객체 영상의 색을 상기 검출 수단에 의해 검출된 상기 누적값에 따라 결정하도록 구성되어 있으며,
    상기 누적값이 미리 정해진 일정한 값 이상이 되면 상기 객체 영상과 연결된 상기 미리 정해진 일정한 처리를 실행하는 수단의 기능을 더 형성하도록 하는 것을 특징으로 하는 반도체 장치.
  8. 움직이는 표적을 포함하는 부분을 갖는 반사된 동영상을 시계열적으로 캡쳐하는 영상 캡쳐 수단;
    현재의 반사된 동영상과 직전의 반사된 동영상 사이의 영상 특징을 비교하여, 상기 표적의 동작 부분의 변화를 분량적으로 나타내는 영상 특징의 차이값을 도출하는 검출 수단;
    소정의 객체를 나타내며 미리 정해진 일정한 처리와 연결되는 객체 영상을 생성하여 상기 객체 영상이 상기 검출 수단에 의해 도출된 상기 차이값에 따라 변하게 하는 영상 생성 수단; 및
    상기 영상 생성 수단에 의해 생성된 상기 객체 영상을 상기 캡쳐된 반사된 동영상과 결합한 결합 영상을 소정의 표시 장치에 표시하는 제어 수단;의 기능을 형성하도록 하는 반도체 장치로,
    상기 검출 수단은, 상기 결합 영상의 상기 객체 영상의 영역 내에 있어서의 상기 차이값의 누적값을 검출하도록 구성되어 있으며,
    상기 영상 생성 수단은, 상기 누적값에 따라 상기 객체 영상의 색을 결정하도록 구성되어 있으며,
    상기 객체 영상의 색이 미리 정해진 일정한 색이 되면 상기 객체 영상과 연결된 상기 미리 정해진 일정한 처리를 실행하는 수단의 기능을 더 형성하도록 하는 것을 특징으로 하는 반도체 장치.
  9. 삭제
  10. 삭제
  11. 삭제
KR1020027007197A 2000-10-06 2001-10-04 영상 처리기, 영상 처리 방법, 기록 매체, 및 반도체 장치 KR100845390B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2000307574 2000-10-06
JPJP-P-2000-00307574 2000-10-06
JPJP-P-2001-00295098 2001-09-26
JP2001295098A JP3725460B2 (ja) 2000-10-06 2001-09-26 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス

Publications (2)

Publication Number Publication Date
KR20020059844A KR20020059844A (ko) 2002-07-13
KR100845390B1 true KR100845390B1 (ko) 2008-07-09

Family

ID=26601678

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027007197A KR100845390B1 (ko) 2000-10-06 2001-10-04 영상 처리기, 영상 처리 방법, 기록 매체, 및 반도체 장치

Country Status (11)

Country Link
US (3) US6771277B2 (ko)
EP (1) EP1324269B1 (ko)
JP (1) JP3725460B2 (ko)
KR (1) KR100845390B1 (ko)
CN (1) CN1279761C (ko)
AU (1) AU9418701A (ko)
BR (1) BR0107310A (ko)
CA (1) CA2392725A1 (ko)
MX (1) MXPA02005288A (ko)
TW (1) TWI231445B (ko)
WO (1) WO2002031773A1 (ko)

Families Citing this family (176)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8956228B2 (en) * 1999-12-03 2015-02-17 Nike, Inc. Game pod
US6585622B1 (en) 1999-12-03 2003-07-01 Nike, Inc. Interactive use an athletic performance monitoring and reward method, system, and computer program product
JP4615252B2 (ja) * 2000-10-06 2011-01-19 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
WO2004007034A1 (en) * 2002-07-12 2004-01-22 Awaba Group Pty Ltd A dance training device
US8206219B2 (en) 2002-10-30 2012-06-26 Nike, Inc. Interactive gaming apparel for interactive gaming
WO2004041379A2 (en) * 2002-10-30 2004-05-21 Nike Inc. Clothes with tracking marks for computer games
JP3854229B2 (ja) * 2003-01-07 2006-12-06 株式会社東芝 画像処理装置
DE20300882U1 (de) * 2003-01-21 2003-03-13 Fraunhofer Ges Forschung Vorrichtung zur interaktiven Steuerung eines Mauszeigers einer graphischen Benutzerschnittstelle
JP4323180B2 (ja) * 2003-02-13 2009-09-02 日本電信電話株式会社 自己画像表示を用いたインタフェース方法、装置、およびプログラム
GB2398691B (en) * 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
GB2398690B (en) * 2003-02-21 2006-05-10 Sony Comp Entertainment Europe Control of data processing
DE602004010098T3 (de) 2003-05-06 2014-09-04 Apple Inc. Verfahren zur änderung von einer nachrichtspeicherungs und weiterleitungsnetzwerkssystem und datenbenachrichtigungssystem
WO2005008626A1 (en) * 2003-07-11 2005-01-27 University Of North Carolina At Chapel Hill Methods and systems for controlling a computer using a video image and for combining the video image with a computer desktop
US7453158B2 (en) * 2003-07-31 2008-11-18 Nvidia Corporation Pad over active circuit system and method with meshed support structure
US7495343B1 (en) * 2003-07-31 2009-02-24 Nvidia Corporation Pad over active circuit system and method with frame support structure
GB0321337D0 (en) * 2003-09-11 2003-10-15 Massone Mobile Advertising Sys Method and system for distributing advertisements
JP4824409B2 (ja) * 2004-01-06 2011-11-30 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、エンタテインメントシステム、および情報処理システムの入力受け付け方法
JP3847753B2 (ja) 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP3853796B2 (ja) * 2004-03-18 2006-12-06 株式会社ソニー・コンピュータエンタテインメント 情報処理装置およびエンタテインメント装置
JP2005301479A (ja) * 2004-04-08 2005-10-27 Akinori Yoshino 投影された提示者の動作による命令入力装置
GB2415639B (en) * 2004-06-29 2008-09-17 Sony Comp Entertainment Europe Control of data processing
JP4005061B2 (ja) 2004-06-30 2007-11-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、プログラム、および、情報処理装置におけるオブジェクト制御方法
JP4005060B2 (ja) 2004-06-30 2007-11-07 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、プログラムおよびゲームキャラクタ移動制御方法
US20060019746A1 (en) * 2004-07-22 2006-01-26 Atlantic City Coin & Slot Service Company, Inc Gaming device utilizing player image
JP4433948B2 (ja) * 2004-09-02 2010-03-17 株式会社セガ 背景画像取得プログラム、ビデオゲーム装置、背景画像取得方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4419768B2 (ja) 2004-09-21 2010-02-24 日本ビクター株式会社 電子機器の制御装置
JP4717445B2 (ja) * 2005-01-06 2011-07-06 株式会社バンダイナムコゲームス 画像処理システム、画像処理装置、ゲーム装置、プログラム、情報記憶媒体および画像処理方法
CN100412908C (zh) * 2005-03-07 2008-08-20 腾讯科技（深圳）有限公司 一种多个动画文件的合并显示方法
WO2006098255A1 (ja) * 2005-03-15 2006-09-21 Shunsuke Nakamura 画像表示方法およびその装置
JP4583981B2 (ja) * 2005-03-16 2010-11-17 株式会社リコー 画像処理装置
US7679689B2 (en) 2005-05-16 2010-03-16 Victor Company Of Japan, Limited Electronic appliance
JP4861699B2 (ja) * 2005-06-29 2012-01-25 株式会社コナミデジタルエンタテインメント ネットワークゲームシステム、ネットワークゲームシステムの制御方法、ゲーム装置、ゲーム装置の制御方法及びプログラム
JP2007072564A (ja) * 2005-09-05 2007-03-22 Sony Computer Entertainment Inc マルチメディア再生装置、メニュー操作受付方法およびコンピュータプログラム
JP2007087100A (ja) * 2005-09-22 2007-04-05 Victor Co Of Japan Ltd 電子機器システム
US7877387B2 (en) 2005-09-30 2011-01-25 Strands, Inc. Systems and methods for promotional media item selection and promotional program unit generation
US20070109600A1 (en) * 2005-11-15 2007-05-17 Lexmark International, Inc. Printer optimization method and system
US8549442B2 (en) * 2005-12-12 2013-10-01 Sony Computer Entertainment Inc. Voice and video control of interactive electronically simulated environment
JP4569555B2 (ja) * 2005-12-14 2010-10-27 日本ビクター株式会社 電子機器
JP2007272067A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd 画像表示装置
JP4742976B2 (ja) * 2006-05-12 2011-08-10 富士ゼロックス株式会社 遠隔指示システム、遠隔指示方法及びプログラム
GB2438449C (en) * 2006-05-24 2018-05-30 Sony Computer Entertainment Europe Ltd Control of data processing
KR100801087B1 (ko) * 2006-07-05 2008-02-11 삼성전자주식회사 스트럭처드 라이트를 이용한 이동체 감지 시스템 및 방법,상기 시스템을 포함하는 이동 로봇
JP4707034B2 (ja) 2006-07-07 2011-06-22 株式会社ソニー・コンピュータエンタテインメント 画像処理方法、入力インタフェース装置
JP4689548B2 (ja) * 2006-07-19 2011-05-25 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP4650381B2 (ja) * 2006-09-08 2011-03-16 日本ビクター株式会社 電子機器
US8144121B2 (en) * 2006-10-11 2012-03-27 Victor Company Of Japan, Limited Method and apparatus for controlling electronic appliance
JP2008146243A (ja) * 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム
JP4720738B2 (ja) * 2006-12-20 2011-07-13 日本ビクター株式会社 電子機器
GB2438475A (en) 2007-03-07 2007-11-28 Cvon Innovations Ltd A method for ranking search results
KR20080088802A (ko) * 2007-03-30 2008-10-06 삼성전자주식회사 디스플레이 상에서 포인터 이동속도가 가변적인 ｇｕｉ제공방법 및 이를 적용한 영상기기
GB2441399B (en) 2007-04-03 2009-02-18 Cvon Innovations Ltd Network invitation arrangement and method
US8671000B2 (en) 2007-04-24 2014-03-11 Apple Inc. Method and arrangement for providing content to multimedia devices
KR101328950B1 (ko) 2007-04-24 2013-11-13 엘지전자 주식회사 화상 디스플레이 방법 및 이를 구현할 수 있는 화상통신용단말기
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
JP4415198B2 (ja) * 2007-08-30 2010-02-17 カシオ計算機株式会社 画像合成装置及びプログラム
CN101874404B (zh) * 2007-09-24 2013-09-18 高通股份有限公司 用于语音和视频通信的增强接口
WO2009099446A1 (en) * 2008-02-08 2009-08-13 Hewlett-Packard Development Company, L.P. Printing method using multiple processors
JP5116514B2 (ja) * 2008-03-11 2013-01-09 キヤノン株式会社 撮像装置および表示制御方法
US8073203B2 (en) * 2008-04-15 2011-12-06 Cyberlink Corp. Generating effects in a webcam application
JP2009265709A (ja) * 2008-04-22 2009-11-12 Hitachi Ltd 入力装置
US8514251B2 (en) * 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
US8133119B2 (en) * 2008-10-01 2012-03-13 Microsoft Corporation Adaptation for alternate gaming input devices
KR20100039017A (ko) * 2008-10-07 2010-04-15 한국전자통신연구원 메뉴 마크업 언어를 이용한 원격 제어 장치
US20100091085A1 (en) * 2008-10-15 2010-04-15 Sony Corporation And Sony Electronics Inc. Augmenting tv menu icon with images in front of tv
JP2010142592A (ja) * 2008-12-22 2010-07-01 Nintendo Co Ltd ゲームプログラムおよびゲーム装置
US8294767B2 (en) * 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8866821B2 (en) 2009-01-30 2014-10-21 Microsoft Corporation Depth map movement tracking via optical flow and velocity prediction
US9652030B2 (en) * 2009-01-30 2017-05-16 Microsoft Technology Licensing, Llc Navigation of a virtual plane using a zone of restriction for canceling noise
JP2010176510A (ja) * 2009-01-30 2010-08-12 Sanyo Electric Co Ltd 情報表示装置
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8732623B2 (en) * 2009-02-17 2014-05-20 Microsoft Corporation Web cam based user interaction
JP5635736B2 (ja) 2009-02-19 2014-12-03 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
JP4767331B2 (ja) * 2009-03-10 2011-09-07 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US8773355B2 (en) * 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US9256282B2 (en) 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US8194101B1 (en) 2009-04-01 2012-06-05 Microsoft Corporation Dynamic perspective video window
US8314832B2 (en) * 2009-04-01 2012-11-20 Microsoft Corporation Systems and methods for generating stereoscopic images
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US9498718B2 (en) * 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US8649554B2 (en) 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US9015638B2 (en) * 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8340432B2 (en) * 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US9377857B2 (en) * 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8638985B2 (en) 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US20100295771A1 (en) * 2009-05-20 2010-11-25 Microsoft Corporation Control of display objects
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
JP2010277197A (ja) * 2009-05-26 2010-12-09 Sony Corp 情報処理装置、情報処理方法およびプログラム
EP2256590A1 (en) * 2009-05-26 2010-12-01 Topspeed Technology Corp. Method for controlling gesture-based remote control system
US8112719B2 (en) * 2009-05-26 2012-02-07 Topseed Technology Corp. Method for controlling gesture-based remote control system
US8320619B2 (en) 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US8509479B2 (en) 2009-05-29 2013-08-13 Microsoft Corporation Virtual object
US8176442B2 (en) * 2009-05-29 2012-05-08 Microsoft Corporation Living cursor control mechanics
US8625837B2 (en) * 2009-05-29 2014-01-07 Microsoft Corporation Protocol and format for communicating an image from a camera to a computing environment
US9182814B2 (en) * 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US20100306685A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation User movement feedback via on-screen avatars
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US20100302365A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Depth Image Noise Reduction
US8379101B2 (en) * 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8145594B2 (en) 2009-05-29 2012-03-27 Microsoft Corporation Localized gesture aggregation
US20100306716A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
US8418085B2 (en) * 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8803889B2 (en) 2009-05-29 2014-08-12 Microsoft Corporation Systems and methods for applying animations or motions to a character
US8856691B2 (en) * 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US9400559B2 (en) 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US7914344B2 (en) * 2009-06-03 2011-03-29 Microsoft Corporation Dual-barrel, connector jack and plug assemblies
US8390680B2 (en) * 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US20110010497A1 (en) * 2009-07-09 2011-01-13 Sandisk Il Ltd. A storage device receiving commands and data regardless of a host
US9159151B2 (en) * 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
GB2471905B (en) * 2009-07-17 2011-08-31 Sony Comp Entertainment Europe User interface and method of user interaction
JP2010003303A (ja) * 2009-07-21 2010-01-07 Victor Co Of Japan Ltd 電子機器の制御装置
US8847984B2 (en) * 2009-07-27 2014-09-30 Disney Enterprises, Inc. System and method for forming a composite image in a portable computing device having a dual screen display
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US9141193B2 (en) * 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
JP5343773B2 (ja) * 2009-09-04 2013-11-13 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
US9633476B1 (en) * 2009-10-29 2017-04-25 Intuit Inc. Method and apparatus for using augmented reality for business graphics
US20110109617A1 (en) * 2009-11-12 2011-05-12 Microsoft Corporation Visualizing Depth
US9146669B2 (en) 2009-12-29 2015-09-29 Bizmodeline Co., Ltd. Password processing method and apparatus
JP5659510B2 (ja) * 2010-03-10 2015-01-28 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
SG184183A1 (en) * 2010-03-19 2012-10-30 Xyz Wave Pte Ltd An apparatus for enabling control of content on a display device using at least one gesture, consequent methods enabled by the apparatus and applications of the apparatus
JP4794678B1 (ja) 2010-05-24 2011-10-19 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像通信システム
US9367847B2 (en) 2010-05-28 2016-06-14 Apple Inc. Presenting content packages based on audience retargeting
EP2400379A1 (en) * 2010-06-23 2011-12-28 MFA Informatik AG Graphical control of a computer by a user
EP2421251A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
JP5327211B2 (ja) * 2010-12-28 2013-10-30 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
CN102645970B (zh) 2011-02-22 2015-10-28 鸿富锦精密工业（深圳）有限公司 移动向量触发控制方法及使用其的电子装置
JP5585505B2 (ja) * 2011-03-17 2014-09-10 セイコーエプソン株式会社 画像供給装置、画像表示システム、画像供給装置の制御方法、画像表示装置、及び、プログラム
WO2012123033A1 (de) * 2011-03-17 2012-09-20 Ssi Schaefer Noell Gmbh Lager Und Systemtechnik Steuerung und überwachung einer lager- und kommissionieranlage durch bewegung und sprache
US8928589B2 (en) * 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
US8873841B2 (en) * 2011-04-21 2014-10-28 Nokia Corporation Methods and apparatuses for facilitating gesture recognition
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US9329673B2 (en) 2011-04-28 2016-05-03 Nec Solution Innovators, Ltd. Information processing device, information processing method, and recording medium
EP2703950A4 (en) * 2011-04-28 2015-01-14 Nec Solution Innovators Ltd INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND RECORDING MEDIUM
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
GB2493906A (en) * 2011-08-15 2013-02-27 Moheb Milad Superimposed images for revealing changes in the settings of an analogue control console
JP2013080413A (ja) * 2011-10-05 2013-05-02 Sony Corp 入力装置、入力認識方法
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US9043766B2 (en) * 2011-12-16 2015-05-26 Facebook, Inc. Language translation using preprocessor macros
KR101410410B1 (ko) * 2011-12-21 2014-06-27 주식회사 케이티 체감형 학습 장치 및 방법
JP5567606B2 (ja) * 2012-01-31 2014-08-06 東芝テック株式会社 情報処理装置及びプログラム
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
GB2501925B (en) * 2012-05-11 2015-04-29 Sony Comp Entertainment Europe Method and system for augmented reality
JP5507773B1 (ja) 2012-07-13 2014-05-28 太郎 諌山 要素選択装置、要素選択方法、および、プログラム
TWI488069B (zh) * 2012-10-08 2015-06-11 Qisda Corp 光學繪圖方法
TWI455044B (zh) * 2012-10-31 2014-10-01 Hwa Hsia Inst Of Technology 應用影像辨識之反應訓練系統及方法
JP5689103B2 (ja) * 2012-11-07 2015-03-25 任天堂株式会社 ゲームプログラム、ゲームシステム、ゲーム装置、およびゲーム制御方法
CN104871525A (zh) * 2012-12-26 2015-08-26 索尼公司 图像处理装置、以及图像处理方法及程序
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
JP6048189B2 (ja) * 2013-02-08 2016-12-21 株式会社リコー 投影システム、画像生成プログラム、情報処理装置及び画像生成方法
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9873038B2 (en) 2013-06-14 2018-01-23 Intercontinental Great Brands Llc Interactive electronic games based on chewing motion
CN103428551A (zh) * 2013-08-24 2013-12-04 渭南高新区金石为开咨询有限公司 一种手势遥控系统
US9609236B2 (en) 2013-09-16 2017-03-28 Kyle L. Baltz Camera and image processing method
WO2015072604A1 (ko) * 2013-11-15 2015-05-21 엘지전자(주) 투명 디스플레이 장치와 그의 제어방법
KR20150110032A (ko) * 2014-03-24 2015-10-02 삼성전자주식회사 영상데이터 처리 전자장치 및 방법
JP5979450B2 (ja) * 2014-07-28 2016-08-24 株式会社クラス・マイスター ゲーム装置の制御プログラム
US9977565B2 (en) 2015-02-09 2018-05-22 Leapfrog Enterprises, Inc. Interactive educational system with light emitting controller
CN104680477A (zh) * 2015-03-04 2015-06-03 江西科技学院 一种图像镜像算法
CN106022887A (zh) * 2016-05-26 2016-10-12 江阴迈德机械有限公司 一种仿真穿戴试镜
CN106057171B (zh) * 2016-07-21 2019-05-24 Oppo广东移动通信有限公司 控制方法及控制装置
US11003264B2 (en) * 2016-09-07 2021-05-11 Chui Woo Lee Device, method and program for generating multidimensional reaction-type image, and method and program for reproducing multidimensional reaction-type image
CN111034377B (zh) * 2017-07-06 2021-09-03 惠普发展公司，有限责任合伙企业 用于外围模块的安装组件
JP7305401B2 (ja) * 2018-09-06 2023-07-10 キヤノン株式会社 画像処理装置、画像処理装置の作動方法、及びプログラム
US20220152494A1 (en) * 2019-03-18 2022-05-19 Google Llc Frame overlay for disparities between frames of a game stream

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06153017A (ja) * 1992-11-02 1994-05-31 Sanyo Electric Co Ltd 機器の遠隔制御装置
JPH08315154A (ja) * 1995-02-21 1996-11-29 Mitsubishi Electric Res Lab Inc ジェスチャ認識システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01315884A (ja) * 1988-06-16 1989-12-20 Sony Corp パターン追跡方法
US5261041A (en) * 1990-12-28 1993-11-09 Apple Computer, Inc. Computer controlled animation system based on definitional animated objects and methods of manipulating same
JPH06102993A (ja) * 1992-09-22 1994-04-15 Nippon Telegr & Teleph Corp <Ntt> 指示入力装置
US5936610A (en) * 1993-07-27 1999-08-10 Canon Kabushiki Kaisha Control device for image input apparatus
JP3419050B2 (ja) * 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
JPH07155467A (ja) * 1993-12-02 1995-06-20 Sega Enterp Ltd 遊戯者の画像入力を有するビデオゲーム装置
US5732227A (en) * 1994-07-05 1998-03-24 Hitachi, Ltd. Interactive information processing system responsive to user manipulation of physical objects and displayed images
JP3766981B2 (ja) * 1994-04-05 2006-04-19 カシオ計算機株式会社 画像制御装置および画像制御方法
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JPH09128141A (ja) * 1995-11-07 1997-05-16 Sony Corp 制御装置および制御方法
JPH09265538A (ja) * 1996-03-29 1997-10-07 Matsushita Electric Works Ltd 自動追尾装置
KR19990011180A (ko) * 1997-07-22 1999-02-18 구자홍 화상인식을 이용한 메뉴 선택 방법
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
JP3209178B2 (ja) * 1998-03-30 2001-09-17 日本電気株式会社 マウスおよびマウスを用いる情報処理装置
US6088018A (en) * 1998-06-11 2000-07-11 Intel Corporation Method of using video reflection in providing input data to a computer system
KR100553671B1 (ko) * 1998-06-27 2006-05-10 삼성전자주식회사 컴퓨터 시스템의 포인팅 장치 구동 방법
US6392675B1 (en) * 1999-02-24 2002-05-21 International Business Machines Corporation Variable speed cursor movement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06153017A (ja) * 1992-11-02 1994-05-31 Sanyo Electric Co Ltd 機器の遠隔制御装置
JPH08315154A (ja) * 1995-02-21 1996-11-29 Mitsubishi Electric Res Lab Inc ジェスチャ認識システム

Also Published As

Publication number Publication date
US6771277B2 (en) 2004-08-03
JP2002196855A (ja) 2002-07-12
CA2392725A1 (en) 2002-04-18
JP3725460B2 (ja) 2005-12-14
EP1324269B1 (en) 2017-01-25
EP1324269A1 (en) 2003-07-02
TWI231445B (en) 2005-04-21
US7176945B2 (en) 2007-02-13
CN1393003A (zh) 2003-01-22
US20040233224A1 (en) 2004-11-25
EP1324269A4 (en) 2006-02-08
US20070013718A1 (en) 2007-01-18
US20020097247A1 (en) 2002-07-25
BR0107310A (pt) 2002-08-27
WO2002031773A1 (fr) 2002-04-18
AU9418701A (en) 2002-04-22
CN1279761C (zh) 2006-10-11
MXPA02005288A (es) 2002-12-11
KR20020059844A (ko) 2002-07-13

Similar Documents

Publication Publication Date Title
KR100845390B1 (ko) 영상 처리기, 영상 처리 방법, 기록 매체, 및 반도체 장치
JP3847753B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP5256269B2 (ja) データ生成装置、データ生成装置の制御方法、及びプログラム
US20140362188A1 (en) Image processing device, image processing system, and image processing method
JP7127659B2 (ja) 情報処理装置、仮想・現実合成システム、学習済みモデルの生成方法、情報処理装置に実行させる方法、プログラム
JPH1153083A (ja) アクティブな公共インターフェイスのための人間の視覚的感知方法及び装置
JP2021179835A (ja) 画像処理装置、画像処理方法およびプログラム
CN104508680B (zh) 改善之视讯追踪
CN113112614B (zh) 基于增强现实的互动方法及装置
CN111643899A (zh) 一种虚拟物品显示方法、装置、电子设备和存储介质
JP2010152556A (ja) 画像処理装置および画像処理方法
JP5468773B2 (ja) 画像処理装置および画像処理方法
JP2015097639A (ja) カラオケ装置、ダンス採点方法、およびプログラム
JP4689548B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2003085571A (ja) 塗り絵玩具
US8345001B2 (en) Information processing system, entertainment system, and information processing system input accepting method
JP4615252B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
CN112837339B (zh) 基于运动捕捉技术的轨迹绘制方法及装置
US20220118358A1 (en) Computer-readable recording medium, and image generation system
KR200239844Y1 (ko) 인공시각과 패턴인식을 이용한 체감형 게임 장치.
WO2023170744A1 (ja) 画像処理装置、画像処理方法、および記録媒体
JP7285045B2 (ja) 画像合成装置、画像合成方法及びプログラム
JP2000020748A (ja) 情報加工方法および情報加工装置および記録媒体
CN113873162A (zh) 拍摄方法、装置、电子设备和可读存储介质
JP2009123242A (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130621

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140626

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150618

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160617

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170616

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180619

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190619

Year of fee payment: 12