KR20060017926A - 프로그램 기록 매체 - Google Patents

프로그램 기록 매체 Download PDF

Info

Publication number
KR20060017926A
KR20060017926A KR1020067002764A KR20067002764A KR20060017926A KR 20060017926 A KR20060017926 A KR 20060017926A KR 1020067002764 A KR1020067002764 A KR 1020067002764A KR 20067002764 A KR20067002764 A KR 20067002764A KR 20060017926 A KR20060017926 A KR 20060017926A
Authority
KR
South Korea
Prior art keywords
image
user
extracted
main cpu
data
Prior art date
Application number
KR1020067002764A
Other languages
English (en)
Other versions
KR100812903B1 (ko
Inventor
아키오 오바
Original Assignee
가부시키가이샤 소니 컴퓨터 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 소니 컴퓨터 엔터테인먼트 filed Critical 가부시키가이샤 소니 컴퓨터 엔터테인먼트
Publication of KR20060017926A publication Critical patent/KR20060017926A/ko
Application granted granted Critical
Publication of KR100812903B1 publication Critical patent/KR100812903B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Abstract

소정의 부위를 정확하게 추적할 수 있도록 하기 위해, 입력된 화상으로부터 저해상도의 전체 화상(51)을 받아들이고, 그 중에서 두부(頭部)를 중심으로 한 중해상도의 화상(52)을 추출한다. 중해상도의 두부를 중심으로 한 화상(52)을 추출할 수 있을 때, 다시 고해상도의 양안부를 중심으로 한 화상(53)을 추출한다. 추출된 화상(53)에 대응하여, 입력된 화상과는 다른 소정의 화상을 변화시켜 표시시킨다.
화상 처리 장치, 프로그램 기록 매체, 파티 이벤트 처리, 피라미드 필터 처리, 프레임간 차분 처리

Description

프로그램 기록 매체{Recording medium of program}
도 1은 본 발명을 적용한 화상 처리 시스템의 구성예를 나타내는 블록도이다.
도 2는 도 1의 화상 처리 장치의 구성예를 나타내는 블록도이다.
도 3은 도 2의 화상 처리 장치의 표정 데이터 취득 처리를 설명하는 플로 차트이다.
도 4는 도 3의 단계 S1에서의 액티브 화상 취득 처리를 설명하는 플로 차트이다.
도 5는 도 4의 액티브 화상 취득 처리를 설명하는 도이다.
도 6은 도 3의 단계 S2에서의 표시예를 나타내는 도이다.
도 7은 도 3의 단계 S7에서의 표시예를 나타내는 도이다.
도 8은 도 3의 단계 S11에서의 처리예를 설명하는 도이다.
도 9는 도 3의 단계 S13에서의 처리예를 설명하는 도이다.
도 10은 도 3의 단계 S14에서의 처리예를 설명하는 도이다.
도 11은 도 3의 단계 S14에서의 파티 이벤트 처리를 설명하는 플로 차트이다.
도 12는 파티 이벤트 처리를 설명하는 도이다.
도 13은 파티 이벤트 처리의 다른 예를 설명하는 도이다.
도 14는 피라미드 필터 처리를 설명하는 도이다.
도 15는 피라미드 필터 처리를 설명하는 플로 차트이다.
도 16은 도 15의 단계 S62, S64의 처리를 설명하는 도이다.
도 17은 프레임간 차분 처리를 설명하는 도이다.
도 18은 프레임간 차분 처리를 설명하는 플로 차트이다.
본 발명은, 화상 처리 장치와 방법, 및 프로그램 기록 매체에 관한 것으로, 특히 소정의 화상의 변화를 연속하여 추출하고, 추적할 수 있도록 한 화상 처리 장치와 방법, 및 프로그램 기록 매체에 관한 것이다.
최근, 컴퓨터 엔터테인먼트 장치가 보급되고, 각 가정에서 게임을 즐길 수 있게 되었다. 이 컴퓨터 엔터테인먼트 장치에서는, 통상, 버튼 또는 조이스틱 등을 사용자가 조작함으로써, 게임의 대상(캐릭터)을 임의의 방향으로, 임의의 속도로 이동시키게 되어 있다.
이와 같이, 종래의 장치에서는, 버튼 또는 조이스틱 등을 조작함으로써 각종 지령이 입력되도록 되어 있기 때문에, 버튼이나 조이스틱 등의 조작 테크닉을 게임에 반영시킬 수 있는데 지나지 않고, 보다 변화가 풍부한 게임을 즐길 수 없다는 과제가 있었다.
본 발명은 이와 같은 상황에 감안하여 이루어진 것으로, 보다 변화가 풍부한 게임을 즐길 수 있도록 한 것이다.
본 발명의 화상 처리 장치는, 입력된 화상으로부터 소정 부위의 화상을 추출하는 제 1 추출수단; 제 1 추출수단에 의해 추출된 소정 부위의 일부를, 보다 고해상도의 화상으로 하여 추출하는 제 2 추출수단; 및 제 2 추출수단이 제 1 추출수단에 의해 추출된 화상으로부터 소정 부위의 화상을 연속적으로 추출할 수 있도록, 소정 부위의 화상을 추적하는 추적수단;을 구비하는 것을 특징으로 한다.
본 발명의 화상 처리 방법은, 입력된 화상으로부터 소정 부위의 화상을 추출하는 제 1 추출단계; 제 1 추출단계에서 추출된 소정 부위의 일부를, 보다 고해상도의 화상으로 하여 추출하는 제 2 추출단계; 및 제 2 추출단계에서, 제 1 추출단계에서 추출된 화상으로부터 소정 부위의 화상을 연속적으로 추출할 수 있도록, 소정 부위의 화상을 추적하는 추적단계;를 포함하는 것을 특징으로 한다.
본 발명의 프로그램 기록 매체는, 입력된 화상으로부터 소정 부위의 화상을 추출하는 제 1 추출단계; 제 1 추출단계에서 추출된 소정 부위의 일부를, 보다 고해상도의 화상으로 하여 추출하는 제 2 추출단계; 및 제 2 추출단계에서, 제 1 추출단계에서 추출된 화상으로부터 소정 부위의 화상을 연속적으로 추출할 수 있도록, 소정 부위의 화상을 추적하는 추적단계;를 포함하는 처리를 화상 처리 장치에 실행시키는 프로그램을 제공하는 것을 특징으로 한다.
본 발명의 화상 처리 장치, 화상 처리 방법, 및 프로그램 기록 매체에서는, 입력된 화상으로부터 소정 부위의 화상이 연속적으로 추적할 수 있도록, 보다 고해상도의 화상이 추출된다.
이하에 본 발명의 실시 형태를 설명하는데, 특허청구의 범위에 기재된 발명의 각 수단과 이하의 실시 형태의 대응 관계를 명확하게 하기 위해, 각 수단 뒤의 괄호 안에, 대응하는 실시 형태(단, 한 예)를 부가하여 본 발명의 특징을 기재하면, 다음과 같이 된다. 그러나, 이 기재는 각 수단을 기재한 것에 한정되는 것을 의미하는 것은 아니다.
화상 처리 장치는, 입력된 화상으로부터 소정 부위의 화상을 추출하는 제 1 추출수단(예를 들면, 도 4의 단계 S32); 제 1 추출수단에 의해 추출된 소정 부위의 일부를, 보다 고해상도의 화상으로 하여 추출하는 제 2 추출수단(예를 들면, 도 4의 단계 S35); 및 제 2 추출수단이, 제 1 추출수단에 의해 추출된 화상으로부터 소정 부위의 화상을 연속적으로 추출할 수 있도록, 소정 부위의 화상을 추적하는 추적수단(예를 들면, 도 4의 단계 S36);을 구비하는 것을 특징으로 한다.
또한, 화상 처리 장치는, 입력된 화상을 좌우가 반전된 상으로 하여 표시하는 표시 제어 수단(예를 들면, 도 3의 단계 S2)을 더 구비하는 것을 특징으로 한다.
더욱이, 화상 처리 장치는, 입력된 화상과는 다른 소정의 화상을 표시하고, 아울러 그 화상을, 제 2 추출수단에 의해 추출된 화상에 대응하여 변화시키는 표시 제어 수단(예를 들면, 도 3의 단계 S9)을 더 구비하는 것을 특징으로 한다.
도 1은, 본 발명을 적용한 화상 처리 시스템의 구성예를 나타내는 블록도이다. 도 1에 도시하는 바와 같이, 이 시스템에서는, 화상 처리 장치(1-1) 내지 화상 처리 장치(1-3)가 인터넷(2)을 사이에 두고 서버(3)에 접속되어 있다. 화상 처리 장치(1-1) 내지 화상 처리 장치(1-3)(이하, 이들을 각각 구별할 필요가 없는 경우, 그저 화상 처리 장치(1)라 칭한다. 다른 장치에 대해서도 마찬가지이다)는, 자기 자신의 가상 현실 공간상의 사용자의 가면 화상의 현재 위치와 함께, 사용자의 가면 화상의 표정을 포함하는 데이터를, 인터넷(2)을 통해 서버(3)로 송신한다. 서버(3)는, 각 화상 처리 장치(1)에 대해, 그곳에서 공급된 가상 현실 공간내의 위치에 근접하게 위치하는 사용자의 가면 화상의 화상 데이터를, 인터넷(2)을 통해 공급하도록 되어 있다.
도 2는, 화상 처리 장치(1-1)의 구성예를 나타내는 블록도이다. 도시는 생략하지만, 화상 처리 장치(1-2, 1-3)도 화상 처리 장치(1-1)와 동일하게 구성되어 있다.
메인 CPU(31)에는, 버스(34)를 사이에 두고 메인 메모리(32)와 화상 처리 칩(33)이 접속되어 있다. 메인 CPU(31)는, 묘화 명령을 생성하고, 화상 처리 칩(33)의 동작을 제어한다. 메인 메모리(32)에는, 메인 CPU(31)가 각종 처리를 실시한 후에 필요한 프로그램이나 데이터 등이 적절히 기억된다.
화상 처리 칩(33)의 렌더링 엔진(41)은, 메인 CPU(31)로부터 공급되는 묘화 명령에 대응하여, 메모리 인터페이스(42)를 사이에 두고 화상 메모리(43)에 소정의 화상 데이터를 묘화하는 동작을 실행한다. 메모리 인터페이스(42)와 렌더링 엔진 (41)의 사이에는 버스(45)가 접속되어 있고, 메모리 인터페이스(42)와 화상 메모리(43)의 사이에는 버스(46)가 접속되어 있다. 버스(46)는, 예를 들면, 128 비트의 비트 폭을 가지며, 렌더링 엔진(41)은 화상 메모리(43)에 대해 고속으로 묘화 처리를 실행할 수 있게 되어 있다. 렌더링 엔진(41)은, 예를 들면, NTSC방식, PAL 방식 등의 320×240 화소의 화상 데이터, 또는 640×480 화소의 화상 데이터를, 실시간(real time)으로 (1/30초 내지 1/60초)의 사이에 여남은 번 내지 수십 번 이상 묘화하는 능력을 가지고 있다.
화상 처리 칩(33)은, 또한, 프로그래머블 CRT 컨트롤러(PCRTC;44)를 가지고 있고, 이 PCRTC(44)는, 비디오 카메라(35)로부터 입력된 화상 데이터의 위치, 크기, 해상도 등을 실시간으로 제어하는 기능을 가지고 있다. PCRTC(44)는, 비디오 카메라(35)로 입력된 화상 데이터를, 메모리 인터페이스(42)를 사이에 두고, 화상 메모리(43)의 텍스처 영역에 써 넣는다. 또한, PCRTC(44)는, 화상 메모리(43)의 묘화 영역에 묘화된 화상 데이터를 메모리 인터페이스(42)를 통해 읽어 들이고, 이것을 CRT(36)로 출력하고, 표시시키도록 되어 있다. 화상 메모리(43)는, 동일한 영역에, 텍스처 영역과 묘화 영역이 지정할 수 있는 통합된 메모리 구조를 가지고 있다.
음성 처리 칩(37)은, 마이크로폰(38)에서 입력된 음성 데이터를 처리하고, 통신부(40)로부터 인터넷(2)을 통해 다른 화상 처리 장치(1)로 출력하도록 되어 있다. 또한, 음성 처리 칩(37)은, 통신부(40)를 통해, 다른 화상 처리 장치(1)로부터 공급된 음성 데이터를 처리하고, 스피커(39)로 출력하도록 되어 있다. 통신부(40) 는, 인터넷(2)을 통해 다른 화상 처리 장치(1) 또는 서버(3)와의 사이에서 데이터를 주고 받도록 구성되어 있다. 입력부(30)는 사용자가 각종 지령을 입력할 때 조작된다.
렌더링 엔진(41)은, 메인 CPU(31)로부터의 블렌딩 모드 설정 함수 Set-Mode(MODE)에 의해 지정된 모드에 대응하여, 화상 메모리(43)의 묘화 영역상의 행선(destination)의 화소치 DP(X, Y)와 텍스처 영역의 화소치 SP(X, Y)와의 사이에서, 블렌딩 처리를 행하게 한다.
렌더링 엔진(41)이 실행하는 블렌딩 모드에는, 모드 0 내지 모드 3이 존재하고, 각 모드에서는, 다음과 같은 블렌딩이 실행된다.
MODE 0 : SP(X, Y)
MODE 1 : DP(X, Y) + SP(X, Y)
MODE 2 : DP(X, Y) - SP(X, Y)
MODE 3 : (1-αSP(X, Y)) * DP(X, Y) + αSP(X, Y) * SP(X, Y)
또한, αSP(X, Y)는, 소스의 화소치의 α값을 나타내고 있다.
즉, 모드 0에서는 소스의 화소치가 그대로 행선에 묘화되고, 모드 1에서는 소스의 화소치가 행선의 화소치에 덧셈하여 묘화되고, 모드 2에서는 행선의 화소치에서 소스의 화소치를 뺄셈하여 묘화가 행해진다. 또한, 모드 3에서는 소스의 α값에 대응하는 부하를 행하여, 소스의 화소치와 행선의 화소치가 합성된다.
화상 메모리(43)의 묘화 영역에 묘화된 화상 데이터는, 메모리 인터페이스(42)를 통해 PCRTC(44)로 읽어져 나오고, 그곳에서 CRT(36)로 출력되어, 표시된다.
다음으로, 도 3의 플로 차트를 참조하여, 그 작동에 대해 설명한다. 가장 먼저, 단계 S1에서 액티브 화상 취득 처리가 실행된다. 이 액티브 화상 취득 처리의 일부에 대해서는, 도 4의 플로 차트에 상세하게 나타낸다.
즉, 맨 처음 단계 S31에서, PCRTC(44)는 비디오 카메라(35)로부터 입력된 화상에서 전체 화면의 저해상도의 화상 데이터를 받아들이고, 이를 메모리 인터페이스(42)를 통해 화상 메모리(43)에 공급하고, 기억시킨다. 이에 의해, 도 5와 같이, 화상 메모리(43)의 화상 영역(50)상에 처리 화상(51)이 기억된다.
계속해서, 단계 S32로 진행하여, 메인 CPU(31)는 PCRTC(44)를 제어하고, 단계 S31에서 입력된 화상으로부터 피사체(사용자)의 두부(頭部) 부분을 추출하는 처리를 실행한다. 즉, 도 5와 같이, 처리 화상(51)에서 두부 부분의 화상(52)을 추출한다. 단계 S33에서, 메인 CPU(31)는 단계 S31에서 받아들인 화상에서 두부 부분을 추출할 수 있었는지 여부를 판정하고, 추출하지 못한 경우에는, 단계 S31로 돌아가, 그 이후의 처리를 반복 실행한다.
단계 S33에서, 두부 부분을 추출할 수 있었다고 판정된 경우, 단계 S34로 진행하고, 메인 CPU(31)는, PCRTC(44)를 제어하고, 단계 S32에서 추출한 두부를 중심으로 한 영역을 중해상도로 입력한다. 즉, 도 5에 도시하는 바와 같이, 단계 S31에서 입력된 저해상도의 처리 화상(51)으로부터, 두부를 중심으로 한 중해상도의 화상(52)을 입력하고, 화상 메모리(43)의 화상 영역에 기억시킨다.
다음으로, 단계 S35에서, 메인 CPU(31)는, 단계 S34에서 입력된 중해상도의 두부를 중심으로 한 화상으로부터 양안부의 화상을 추출하는 처리를 실행한다. 즉, 도 5의 두부를 중심으로 한 중해상도의 화상(52)으로부터 양안부 부분을 추출하는 처리를 실행한다. 단계 S36에서, 양안부 부분을 추출할 수 있었는지 여부를 판정하고, 추출할 수 없었던 경우에는, 단계 S31로 돌아가, 이후의 처리를 반복 실행한다.
단계 S36에서, 양안부를 추출할 수 있었다고 판정된 경우, 메인 CPU(31)는 PCRTC(44)를 제어하고, 단계 S37로 진행하여, 양안부를 중심으로 한 영역을 고해상도로 입력하는 처리를 실행시킨다. 즉, 도 5에서 도시하는 두부를 중심으로 한 중해상도의 화상(52)으로부터 양안부를 중심으로 한 고해상도의 화상(53)을 받아들여, 화상 영역(50)상에 기억시킨다.
다음으로, 단계 S38에서, 메인 CPU(31)는, 단계 S37에서 받아들인 고해상도의 화상(53)으로부터 양안부를 추출하고, 그 위치를 계측하는 처리를 실행한다. 단계 S39에서는, 양안부를 추출할 수 있었는지 여부를 판정하고, 추출하지 못한 경우에는, 단계 S34로 돌아가 그 이후의 처리를 반복 실행한다. 단계 S39에서, 양안부를 추출할 수 있었다고 판정된 경우에는, 단계 S40으로 진행하여, 추출이 더 실행될 필요가 있는지 여부를 판정한다. 단계 S40에서 추출이 더 실행될 필요가 있는 경우에는, 단계 S37로 돌아가 그 이후의 처리를 반복 실행하고, 추출이 더 실행될 필요가 없는 경우에는 액티브 화상 취득 처리(S1)가 종료된다.
이상과 같이 하여, 보다 고해상도의 화상에서 소정 부위를 추출하도록 하고, 소정의 부위를 추출할 수 없었던 경우, 보다 저해상도의 처리 단계로 돌아가, 그 이후의 처리를 반복 실행함으로써, 사용자가 비디어 카메라(35)에 대해 상대적으로 이동한 경우에도, 그 양안부를 자동적으로 확실히 추적하여, 화상으로서 받아들일 수 있다.
도 3의 단계 S1에서, 이상과 같은 도 4에 도시한 처리를 포함하는 처리를 실행하고, 피사체의 양안부를 자동적으로 추적하여 피사체의 화상(얼굴의 화상)이 얻어지면, 단계 S2에서, 메인 CPU(31)는 렌더링 엔진(41)을 제어하여 좌우 반전 화상을 생성시키고, 이것을 CRT(36)로 출력하고, 표시시킨다. 즉, 렌더링 엔진(41)은, 메인 CPU(31)로부터의 지령에 대응하여, 단계 S1에서 받아들여진 사용자 얼굴의 화상을, 그 좌우를 반전한 화상으로(거울면 화상으로) 변환한다. 이 좌우를 반전한 화상이 PCRTC(44)를 통해 CRT(36)로 출력되고, 도 6에 도시하는 바와 같이 표시된다. 이 때, 메인 CPU(31)는, 도 6에 도시하는 바와 같이, 렌더링 엔진(41)을 제어하고, 단계 S35, S37, S38에서 추출한 양안부의 추출 영역에, 선 P1을 중첩 표시시키고, 사용자가 확인할 수 있도록 한다.
단계 S35, S37, S38에서, 입에 대해서도 추출한 경우에는, 도 6에 도시하는 바와 같이, 입의 추출 영역 주위에 선 P2가 표시된다.
이와 같이, 선 P1, P2를 표시하도록 하면, 사용자는, 이 선 P1, P2로 둘러싸인 영역을 추출하고, 추적 동작이 행해지고 있는 것을 확인할 수 있다.
다음으로, 단계 S3으로 진행하고, 사용자는, CRT(36)의 표시 화상을 보고, 자기 자신의 위치 또는 비디오 카메라(35)의 위치를 상대적으로 위치 조정할 필요 가 있는지 여부를 판정하고, 위치 조정할 필요가 있다고 판정한 경우, 단계 S4로 진행하여, 비디오 카메라(35)의 위치 또는 자기 자신의 위치를 적절히 조정한다. 그 후, 단계 S1로 돌아가, 그 이후의 처리가 반복 실행된다.
단계 S3에서, 비디오 카메라(35) 또는 자기 자신의 위치를 조정할 필요가 없다고 판정한 경우, 단계 S5로 진행되고, 메인 CPU(31)는, 얼굴의 특징을 추출하기 위한 동작 지시를 행한다. 즉, 메인 CPU(31)는, 음성 처리 칩(37)을 제어하고, 스피커(39)로부터 사용자에 대해, 고개를 흔듬, 눈을 깜박임(윙크), 입의 개폐 동작 등, 소정의 동작을 하도록 사용자에게 지시한다. 물론, 이 지시는, 렌더링 엔진(41)을 제어하고, 화상 메모리(43)에 소정의 메세지를 묘화하고, 이 묘화한 메세지를, PCRTC(44)를 통해 CRT(36)로 출력, 표시시킴으로써 행하도록 하여도 된다.
다음으로, 단계 S6으로 진행하고, 메인 CPU(31)는 단계 S5에서의 동작 지시에 대응하여 사용자가 행하는 동작의 변화를 화상의 변화로서 추출하고, 얼굴의 특징 영역을 추출한다. 즉, 예를 들면, 눈의 깜박임(윙크)을 지령한 후, 받아들여진 화상에 변화가 생긴 부분을 눈으로서 인식한다. 또한, 입의 개폐를 지령한 후, 변화한 화상의 영역을 입의 부분으로서 인식한다.
다음으로, 단계 S7로 진행하여, 메인 CPU(31)는, 가면의 CG(computer graphics) 화상을 생성하고, 이를 렌더링 엔진(41)을 제어하고 사용자의 얼굴의 화상의 표시 위치에 중첩하여 묘화시킨다. 이 화상이, PCRTC(44)를 통해 CRT(36)로 출력되면, CRT(36)에는, 예를 들면 도 7에 도시하는 바와 같이, 사용자의 화상의 얼굴 부분이 가면으로 변환된 화상이 표시된다.
다음으로, 단계 S8로 진행하여, 메인 CPU(31)는, 단계 S6에서 추출한 얼굴의 특징 영역(예를 들면, 눈, 입, 눈썹 등)을 움직이게 하는 것을 사용자에게 지시하는 메세지를, 스피커(39) 또는 CRT(36)로부터 출력한다. 즉, 예를 들면, 사용자에 대해, 윙크하거나, 입을 개폐하거나, 눈썹을 올렸다 내렸다 하는 것을 요구한다. 사용자가, 이 요구에 대응하여 윙크하거나, 입을 개폐하거나, 눈썹을 올렸다 내렸다 하면, 그 화상이 비디오 카메라(35)를 통해 받아들여진다. 메인 CPU(31)는, 동작 지시에 대응하여 변화한 영역을, 그 지시에 대응하는 영역의 변화로서 단계 S9에서 검출하고, 그 검출 결과에 대응하여, 단계 S7에서 표시한 가면의 대응하는 부위를 변화시킨다. 즉, 눈을 깜박(윙크)이는 동작 지시에 대응하여 사용자가 눈을 깜박(윙크)이고, 이를 검출했을 때, 메인 CPU(31)는, 가면의 눈을 깜박(윙크)이게 한다. 마찬가지로, 사용자가 입을 개폐하거나, 눈썹을 올렸다 내렸다 했을 때, 그것에 대응하여, 가면의 입을 개폐하거나, 가면의 귀를 올렸다 내렸다 하게 한다.
다음으로, 단계 S10에서, 사용자는, 위치가 정확히 추출되고 있는지 여부를 판정한다. 예를 들면, 윙크의 동작 지시에 대응하여 윙크했는데도 불구하고, 가면의 눈이 윙크하지 않는 경우에는, 사용자는, 입력부(30)의 소정의 키를 조작하여, 위치 검출이 정확하게 행해지고 있지 않은 사실을 메인 CPU(31)에 통지한다. 이 때, 단계 S11에서, 메인 CPU(31)는, 보정 지시를 출력한다. 즉, 사용자에 대해, 정지하도록 지시함과 동시에, 오판정의 요인이 되고 있다고 생각되는 배경의 움직임을 검출하거나, 조명 등을 변경시키는 메세지를 출력한다. 사용자는, 이 메시지에 대응하여, 자신의 배후에서 움직이는 것이 있는 경우에는, 그것을 제거하거나 조명을 변경한다. 더욱이, 메인 CPU(31)는, 예를 들면 도 8에 도시한 바와 같이, 얼굴에 눈의 깜박임을 지시하거나, 머리띠를 하는 것을 지시한다. 사용자가 이 지시에 대응하여 눈을 깜박이거나, 머리띠를 하면, 그곳을 기준으로 하여 두부를 검출하는 것이 가능해진다. 이 때문에, 이 경우에는, 단계 S1로 돌아가, 그 이후의 처리가 반복 실행된다.
단계 S10에서, 위치가 바르게 추출되고 있다고 판정된 경우, 단계 S12로 진행되고, 표정이 바르게 추출되어 있는지 여부가 판정된다. 즉, 사용자는, 예를 들면, 단계 S8에서의 동작 지시에 대응하여 뺨을 움직였는데도 불구하고, 단계 S9에서 표시되어 있는 가면의 뺨이 변화하지 않는 경우에는, 입력부(30)를 조작하여, 표정 추출 처리가 성공하지 않는 사실을 메인 CPU(31)에 통지한다. 메인 CPU(31)는, 이 때, 단계 S13에서, 보정 지시를 출력한다. 예를 들면, 메인 CPU(31)는 사용자에 대해, 뺨 부분에 메이크업 하거나 마킹할 것을 지시한다. 사용자가, 이 지시에 대응하여 뺨에 메이크업하거나 마킹한다면, 도 9에 도시하는 화상을 입력하게 되기 때문에, 메인 CPU(31)는, 그 메이크업이나 마킹을 기준으로 하여, 뺨을 바르게 추출할 수 있다. 이 때문에, 이 경우에도, 단계 S13에서 단계 S1로 돌아가고, 그 이후의 처리가 반복 실행된다.
단계 S12에서, 표정을 바르게 추출할 수 있었다고 판정된 경우, 도 10에 도시하듯이, 사용자의 뺨의 변화에 대응하여 표정이 변화하는 가면을 갖는 사용자의 화상이 얻어진 것이 된다. 따라서, 이 경우, 단계 S14로 진행하여, 파티 이벤트 처리가 실행된다. 이 파티 이벤트 처리의 상세는, 도 11에 나타나 있다.
맨 처음, 단계 S51에서, 메인 CPU(31)는, 단계 S9에서 생성한 가면을 가지는 사용자의 화상을, 가상 현실 공간의 사용자의 가면 화상의 화상으로서 생성하고, 렌더링 엔진(41)을 제어하여, 이를 화상 메모리(43)에 묘화시킨다. 다음으로, 단계 S52에서, 메인 CPU(31)는 사용자의 가면 화상의 화상 데이터를 화상 메모리(43)로부터 읽어내고, 이를 통신부(40)에 공급시킨다. 그리고, 메인 CPU(31)는, 다시 통신부(40)를 제어하고, 그 화상 데이터를, 인터넷(2)을 통해, 서버(3)에 송신시킨다. 또한, 이 때, 메인 CPU(31)는, 입력부(30)로부터의 조작에 대응하여, 서버(3)가 제공하는 가상 현실 공간 내에서의 사용자의 가면 화상의 위치에 대응하는 위치 데이터도 동시에 송신시킨다.
더욱이, 단계 S53에서, 메인 CPU(31)는, 음성 처리 칩(37)을 제어하고, 마이크로폰(38)에서 입력된 사용자의 음성 데이터를, 통신부(40)로부터 인터넷(2)을 통해, 서버(3)에 송신시킨다.
서버(3)는, 인터넷(2)을 통해, 예를 들면 화상 처리 장치(1-1)로부터, 대응하는 사용자의 가면 화상의 화상 데이터, 가상 현실 공간에서의 위치 데이터, 및 음성 데이터가 입력되었을 때, 그들의 데이터를, 그 위치의 근방에 위치하는 사용자의 가면 화상이 대응하는 화상 처리 장치(1)(예를 들면, 화상 처리 장치(1-2)와 화상 처리 장치(1-3))에 공급한다. 마찬가지로, 화상 처리 장치(1-2, 1-3)에서, 그 사용자의 가면 화상의 화상 데이터, 위치 데이터 및 음성 데이터가 인터넷(2)을 통해 전송되어 왔을 때, 서버(3)는 이 데이터를 인터넷(2)을 통해 화상 처리 장치(1-1)로 출력한다.
화상 처리 장치(1-1)의 메인 CPU(31)는, 이와 같이 다른 화상 처리 장치(1-2, 1-3)로부터, 사용자의 가면 화상의 화상 데이터, 그 위치 데이터, 및 음성 데이터가 전송되어 왔을 때, 단계 S54에서, 이것을 수신한다. 그리고, 메인 CPU(31)는 렌더링 엔진(41)을 제어하고, 화상 메모리(43)에, 가상 현실 공간의 화상상의 대응하는 위치에, 대응하는 사용자의 가면 화상의 화상을 묘화시킨다. 그리고, 이 묘화된 화상 데이터가 PCRTC(44)에 의해 읽히고, CRT(36)로 출력되고, 표시된다. 또한, 메인 CPU(31)는 전송되어 온 음성 데이터를 음성 처리 칩(37)으로 출력하고, 음성 처리시킨 후, 스피커(39)로부터 출력시킨다.
이상과 같이 하여, 예를 들면 도 12에 나타내듯이, 사용자 A가 사용하는 화상 처리 장치(1-1)의 CRT(36-1)에는, 다른 사용자(도 12의 표시예의 경우, 사용자 B와 사용자 D)의 사용자의 가면 화상(61-2, 61-4)이 표시된다. 또한, 사용자 B의 화상 처리 장치(1-2)의 CRT(36-2)에는, 사용자 A의 사용자의 가면 화상(61-1)과 사용자 C의 사용자의 가면 화상(61-3)이 표시된다. 사용자 A가 말하면, 이것이 마이크로폰(38)에 의해 입력되고, 예를 들면 사용자 B의 화상 처리 장치(1-2)의 스피커(39)로부터 음이 나온다. 또한, 이 때, 사용자 A의 화상이 비디오 카메라(35-1)로 입력되기 때문에, 사용자 A의 사용자의 가면 화상(61-1)의 입이, 사용자 A의 입에 대응하여 변화한다. 마찬가지로, 사용자 B가 표정을 바꾸면, 이것이 그 비디오 카메라(35-2)로 입력되고, 사용자 B의 사용자의 가면 화상(61-2)의 표정이 변화한다.
이상과 같은 처리는, 단계 S55에서 종료가 지시될 때까지 반복 실행된다.
또한, 이상에서는, 서버(3)를 통해, 다수의 사용자의 가면 화상과 가상 현실 공간에서 가상 파티를 즐기도록 하였지만, 도 13에 도시하듯이, 사용자 A와 사용자 B 사이에서 1:1의 가상 파티를 즐기도록 하는 것도 가능하다.
도 4의 단계 S32의 처리에서 두부를 추출하는 경우, 예를 들면 머리카락의 색을 기준으로 하여 두부를 추출하도록 할 수 있다. 이 경우, 피라미드 필터 처리를 이용할 수 있다. 피라미드 필터 처리를 행하면, 각 화소치의 평균값이 연산되기 때문에, 그 평균값이 머리카락 색의 화소치와 근사한 영역을 머리카락의 영역으로 하여 추출하도록 할 수 있다.
다음으로, 피라미드 필터 처리에 대해 설명한다. 이 피라미드 필터 처리에서는, 도 14에 도시하듯이, 처리 화상의 서로 인접하는 네 화소치의 평균값을 구하고, 그 화소를 네 화소의 중심에 배치하는 처리가 반복된다. 즉, 바이리니어 보간(bilinear interpolation)에 의해, 근방 4점의 평균 화소치를 연산하는 처리를 실행하면, n×n개(n은 2의 거듭제곱)의 처리 화상으로부터, (n/2)×(n/2)의 화상 데이터를 얻을 수 있다. 이 처리를 반복 실행하면, 최종적으로는, 피라미드 정점의 1 화소의 데이터는, 피라미드 저면의 전 화소의 평균값을 나타내는 화소 데이터가 된다.
이와 같은 피라미드 필터 처리를 실행하는 경우, 메인 CPU(31)는, 렌더링 엔진(41)에 대해, 다음과 같은 묘화 명령을 출력한다.
int L;/*소스 영역의 한 변의 길이*/
int offset;
L=2N^;/*초기 화상의 한 변의 길이*/
offset=0;
while (L＞1){
set_Texture_Base(0, offset);/*텍스처 영역의 기본점 설정*/
offset +=L;
set_Drawing_Base(0, offset);*/묘화 영역의 기본점 설정/*
Flat_Texture_Rectangle(0, 0, L/2, 0, L/2, L/2, 0, L/2, 0.5, 0.5, L+0.5,
* 0.5, L+0.5, L+0.5, 0.5, L+0.5, 1.0):
L=L/2;
}
이 묘화 명령을 플로 차트로 나타내면, 도 15와 같이 된다. 맨 처음, 단계 S61에서, 변수 offset으로 0이 초기 설정된다. 다음으로 단계 S62에서, 텍스처 영역(51)의 기본점을 (0, offset)으로 설정하는 처리가 실행된다. 즉, 도 16에 도시하듯이, 기본점 T(0, 0)가 설정된다. 다음으로, 단계 S63으로 진행하고, 변수 offset이 L만큼 증가된다. 그리고, 단계 S64에서, 묘화 영역(52)의 기본점으로 (0, offset)가 설정된다. 지금의 경우, 도 16에 나타내듯이, 기본점 D(0, L)가 설정된다.
다음으로, 단계 S65에서, 소스(텍스처 영역)의 사각형(0.5, 0.5, L+0.5, 0.5, L+0.5, L+0.5, 0.5, L+0.5)의 화소치에 1을 곱셈하고, 행선의 사각형(0, 0, L/2, 0, L/2, L/2, 0, L/2)에 덧셈하여 묘화하는 처리가 실행된다. 즉, 이에 의해, 도 14에 도시하는 가장 아래의(피라미드 저면의) 처리 화상으로부터, 하나 위의 계층의 처리 화상이 얻어진 것이 된다.
계속해서, 단계 S66으로 진행하고, 변수 L이 현재의 값의 1/2이 된다. 단계 S67에서, 변수 L이 1보다 큰가의 여부가 판정되고, 변수 L이 1보다 큰 경우에는, 단계 S62로 돌아가, 그 이후의 처리가 반복 실행된다. 즉, 이에 의해, 두번째의 계층으로부터, 다시 3번째 계층의 화상 데이터가 얻어지게 된다.
이하, 동일한 처리가 반복 실행되고, 단계 S67에서, 변수 L이 1보다 크지 않다고 판정된 경우(변수 L이 1과 동일하다고 판정된 경우), 피라미드 필터 처리가 종료된다.
또한, 도 3의 단계 S5에서의 동작 지시에 대응하여, 단계 S6에서 얼굴의 특징 영역을 추출하는 경우, 동작 지시에 대응하여 변화한 영역(움직인 부분)을 프레임간 차분 처리를 행함으로써 추출할 수 있다.
다음으로, 프레임간 차분 처리(inter-frame difference processing)에 대해 설명한다. 이 프레임간 차분 처리에서는, 도 17에 도시한 바와 같이, 시간 t에서의 프레임의 화상과, 시간 t+1에서의 프레임의 화상의 차이가 연산된다. 이에 의해, 움직임이 있는 화상의 영역를 추출할 수 있다.
즉, 이 경우, 메인 CPU(31)는, 렌더링 엔진(41)에 대해, 도 18의 플로 차트에 나타내는 것과 같은 처리를 실행시킨다. 최초로 단계 S81에서, 렌더링 엔진(41) 은, 메인 CPU(31)로부터의 지령에 대응하여, 블렌딩 모드로서 모드 2를 설정한다. 다음으로, 단계 S82에서, 렌더링 엔진(41)은, 비디오 카메라(35)에서 입력된 화상 데이터 중, 시간적으로 뒤의 프레임의 화상 데이터를 행선의 화상으로 하고, 시간적으로 앞의 프레임의 화상 데이터를 소스 화상 데이터로 한다. 그리고, 단계 S83에서, 렌더링 엔진(41)은, 행선의 사각형의 화소치로부터, 소스의 사각형의 화소치를 뺄셈하여 묘화하는 처리를 실행한다. 행선 영역의 프레임의 화소 데이터와 소스 영역의 프레임의 화소 데이터는, 정지 그림(still-picture) 영역에서는, 그 값은 실질적으로 동일한 값이 된다. 그 결과, 단계 S83에서의 처리를 실행하면, 그 화소 데이터의 값은 거의 0이 된다.
이에 대해, 움직임이 있는 영역의 화소 데이터의 값은, 행선에서의 경우와 소스에서의 경우에 다른 값이 된다. 따라서, 단계 S83에서의 처리의 결과 얻어지는 화상 데이터의 값은, 0 이외의 소정의 크기를 가지는 값이 된다. 따라서, 프레임간 차분의 화상 데이터의 각 화소 데이터의 값의 크기로부터, 움직임 영역과 정지 그림 영역을 구분할 수 있다.
또한, 본 명세서에서, 시스템이란, 복수의 장치에 의해 구성되는 장치 전체를 나타내는 것으로 한다.
상술한 바와 같은 처리를 행하는 컴퓨터 프로그램을 사용자에게 제공하는 제공 매체로서는, 자기 디스크, CD-ROM, 고체 메모리 등의 기록 매체 외에, 네트워크, 위성 등의 통신 매체를 이용할 수 있다.
이와 같이, 본 발명의 화상 처리 장치, 화상 처리 방법, 및 프로그램 기록 매체에 따르면, 일단 추출된 화상을, 다시 보다 고해상도의 화상으로 하여 추출하도록 하였기 때문에, 소정의 부위를 정확히 추적하는 것이 가능해진다.

Claims (2)

  1. 입력된 화상으로부터 소정 부위의 화상을 추출하는 제 1 추출단계와;
    상기 제 1 추출단계에서 추출된 상기 소정 부위의 일부를, 보다 고해상도의 화상으로 하여 추출하는 제 2 추출단계; 및
    상기 제 2 추출단계에서, 상기 제 1 추출단계에서 추출된 화상으로부터 상기 소정 부위의 화상을 연속적으로 추출할 수 있도록, 상기 소정 부위의 화상을 추적하는 추적단계;를 포함하는 처리를 화상 처리 장치에 실행시키는 프로그램을 제공하는 것을 특징으로 하는 프로그램 기록 매체.
  2. 제 1 항에 있어서, 상기 프로그램은, 자기 디스크, CD-ROM, 고체 메모리 등의 기록 매체 외에, 네트워크, 위성 등의 통신 매체로 제공하는 것을 특징으로 하는 프로그램 기록 매체.
KR1020067002764A 1998-05-19 1999-05-18 화상 처리 장치와 방법 및 프로그램 기록 매체 KR100812903B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-1998-00136239 1998-05-19
JP13623998 1998-05-19
KR1020007000536A KR100575472B1 (ko) 1998-05-19 1999-05-18 화상 처리 장치와 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020007000536A Division KR100575472B1 (ko) 1998-05-19 1999-05-18 화상 처리 장치와 방법

Publications (2)

Publication Number Publication Date
KR20060017926A true KR20060017926A (ko) 2006-02-27
KR100812903B1 KR100812903B1 (ko) 2008-03-11

Family

ID=15170543

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020007000536A KR100575472B1 (ko) 1998-05-19 1999-05-18 화상 처리 장치와 방법
KR1020067002764A KR100812903B1 (ko) 1998-05-19 1999-05-18 화상 처리 장치와 방법 및 프로그램 기록 매체

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020007000536A KR100575472B1 (ko) 1998-05-19 1999-05-18 화상 처리 장치와 방법

Country Status (11)

Country Link
US (3) US6714660B1 (ko)
EP (1) EP0999518A4 (ko)
JP (3) JP4258123B2 (ko)
KR (2) KR100575472B1 (ko)
CN (1) CN1222911C (ko)
AU (1) AU751852B2 (ko)
BR (1) BR9906453A (ko)
CA (1) CA2295606A1 (ko)
RU (1) RU2000102890A (ko)
TW (1) TW563053B (ko)
WO (1) WO1999060522A1 (ko)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0574584U (ja) * 1992-03-07 1993-10-12 株式会社大成商会 パチンコ機等における釘調整補助具
CA2295606A1 (en) * 1998-05-19 1999-11-25 Sony Computer Entertainment Inc. Image processing apparatus and method, and providing medium
JP2001222719A (ja) * 1999-12-01 2001-08-17 Matsushita Electric Ind Co Ltd 顔抽出装置及び顔抽出方法並びに顔抽出プログラムの記録媒体
US7391929B2 (en) * 2000-02-11 2008-06-24 Sony Corporation Masking tool
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
US7106887B2 (en) * 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
AU7664301A (en) * 2000-06-27 2002-01-21 Ruth Gal Make-up and fashion accessory display and marketing system and method
US7020305B2 (en) 2000-12-06 2006-03-28 Microsoft Corporation System and method providing improved head motion estimations for animation
JP2002229955A (ja) * 2001-02-02 2002-08-16 Matsushita Electric Ind Co Ltd 情報端末装置及び認証システム
JP4925538B2 (ja) * 2001-09-28 2012-04-25 株式会社バンダイナムコゲームス ゲームシステム
JP3911527B2 (ja) * 2002-01-17 2007-05-09 富士通株式会社 携帯端末、携帯端末処理用プログラム及び携帯端末システム
JP4331488B2 (ja) * 2003-02-20 2009-09-16 パナソニック株式会社 集積回路及びそれを用いた電子機器
GB2406424A (en) 2003-09-23 2005-03-30 Ncr Int Inc Biometric system provides feedback if the biometric capture was not complete
JP3847753B2 (ja) 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JPWO2005076210A1 (ja) * 2004-02-05 2007-10-18 ソフトバンクモバイル株式会社 画像処理方法、画像処理装置及び移動通信端末装置
US7570238B2 (en) * 2004-04-01 2009-08-04 Seiko Epson Corporation System and method for reducing power consumption by a display controller
EP1589758A1 (en) 2004-04-22 2005-10-26 Alcatel Video conference system and method
TWI386744B (zh) * 2004-12-14 2013-02-21 Samsung Display Co Ltd 薄膜電晶體面板以及使用該薄膜電晶體面板之液晶顯示器
JP3920889B2 (ja) * 2004-12-28 2007-05-30 沖電気工業株式会社 画像合成装置
JP4613617B2 (ja) * 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム
JP2007020033A (ja) * 2005-07-11 2007-01-25 Nikon Corp 電子カメラおよび画像処理プログラム
KR101103115B1 (ko) 2005-08-12 2012-01-04 소니 컴퓨터 엔터테인먼트 인코포레이티드 얼굴 화상표시장치, 얼굴 화상표시방법 및 얼굴 화상표시 프로그램
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US8098885B2 (en) * 2005-11-02 2012-01-17 Microsoft Corporation Robust online face tracking
US20080317264A1 (en) * 2005-12-21 2008-12-25 Jordan Wynnychuk Device and Method for Capturing Vocal Sound and Mouth Region Images
JP5080492B2 (ja) * 2005-12-21 2012-11-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンピュータを利用したシステム
KR101240261B1 (ko) 2006-02-07 2013-03-07 엘지전자 주식회사 이동통신 단말기의 영상 통화 장치 및 방법
US8026931B2 (en) * 2006-03-16 2011-09-27 Microsoft Corporation Digital video effects
US8766983B2 (en) 2006-05-07 2014-07-01 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
JP4627052B2 (ja) * 2006-07-06 2011-02-09 株式会社ソニー・コンピュータエンタテインメント 画像に連携した音声出力方法および装置
JP4689548B2 (ja) * 2006-07-19 2011-05-25 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2008099160A (ja) 2006-10-16 2008-04-24 Funai Electric Co Ltd 撮像機能を有する機器
US8189864B2 (en) 2007-08-29 2012-05-29 Casio Computer Co., Ltd. Composite image generating apparatus, composite image generating method, and storage medium
JP4973622B2 (ja) * 2007-08-29 2012-07-11 カシオ計算機株式会社 画像合成装置および画像合成処理プログラム
US8582919B2 (en) * 2007-09-24 2013-11-12 Microsoft Corporation Altering the appearance of a digital image using a shape
JP4935647B2 (ja) * 2007-11-29 2012-05-23 カシオ計算機株式会社 合成画像出力装置および合成画像出力処理プログラム
EP2283472B1 (en) * 2008-05-05 2021-03-03 Iomniscient Pty Ltd A system and method for electronic surveillance
JP4809869B2 (ja) * 2008-05-26 2011-11-09 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法及びプログラム
GB2463312A (en) * 2008-09-09 2010-03-17 Skype Ltd Games system with bi-directional video communication
JP5574607B2 (ja) * 2009-02-05 2014-08-20 株式会社タイトー リアルタイム動画対応ゲーム機システム
JP4767331B2 (ja) * 2009-03-10 2011-09-07 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
KR101640458B1 (ko) * 2009-06-25 2016-07-18 삼성전자주식회사 영상 장치 및 컴퓨터 판독 기록매체
KR100954835B1 (ko) * 2009-08-04 2010-04-30 주식회사 크라스아이디 얼굴변화 검출 시스템 및 얼굴변화 감지에 따른 지능형 시스템
JP5325745B2 (ja) 2009-11-02 2013-10-23 株式会社ソニー・コンピュータエンタテインメント 動画像処理プログラム、装置および方法、動画像処理装置を搭載した撮像装置
US8471732B2 (en) * 2009-12-14 2013-06-25 Robert Bosch Gmbh Method for re-using photorealistic 3D landmarks for nonphotorealistic 3D maps
CN102194303A (zh) * 2010-03-15 2011-09-21 鸿富锦精密工业（深圳）有限公司 电子装置及其监测用户阅读状态的方法
FR2958487A1 (fr) * 2010-04-06 2011-10-07 Alcatel Lucent Une methode de detourage en temps reel d'une entite reelle enregistree dans une sequence video
US8515137B2 (en) * 2010-05-03 2013-08-20 Microsoft Corporation Generating a combined image from multiple images
JP5525923B2 (ja) 2010-06-09 2014-06-18 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP5580156B2 (ja) 2010-09-27 2014-08-27 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム制御方法、ならびに、プログラム
JP5781353B2 (ja) 2011-03-31 2015-09-24 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、および位置情報のデータ構造
JP5774889B2 (ja) 2011-03-31 2015-09-09 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP5629642B2 (ja) 2011-05-19 2014-11-26 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
JP5325265B2 (ja) 2011-07-01 2013-10-23 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法、ならびに、プログラム
JP5701707B2 (ja) 2011-07-25 2015-04-15 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
JP2013034039A (ja) 2011-07-29 2013-02-14 Sony Computer Entertainment Inc 撮像装置、情報処理装置、情報処理システムおよびフレームデータ出力同期化方法
US9160965B2 (en) 2011-08-01 2015-10-13 Thomson Licensing Telepresence communications system and method
JP5852374B2 (ja) 2011-09-07 2016-02-03 株式会社Ｓｃｒｅｅｎホールディングス 描画装置および描画方法
US9148586B2 (en) 2012-02-10 2015-09-29 Sony Corporation Terminal apparatus for combining images from two different cameras based on detected sound
WO2013133863A1 (en) 2012-03-09 2013-09-12 Thomson Licensing Distributed control of synchronized content
US9137314B2 (en) 2012-11-06 2015-09-15 At&T Intellectual Property I, L.P. Methods, systems, and products for personalized feedback
US9756288B2 (en) 2013-04-10 2017-09-05 Thomson Licensing Tiering and manipulation of peer's heads in a telepresence system
JP6121787B2 (ja) 2013-04-26 2017-04-26 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、情報処理システム、および画像データ処理方法
US10284887B2 (en) 2013-06-20 2019-05-07 Interdigital Ce Patent Holdings System and method to assist synchronization of distributed play out of content
CN104869346A (zh) * 2014-02-26 2015-08-26 中国移动通信集团公司 一种视频通话中的图像处理方法及电子设备
JP6129119B2 (ja) 2014-06-04 2017-05-17 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理システム、撮像装置、および画像処理方法
US9706114B2 (en) 2014-09-12 2017-07-11 Sony Corporation Image pickup apparatus, information processing apparatus, display apparatus, information processing system, image data sending method, image displaying method, and computer program
JP6494305B2 (ja) 2015-01-29 2019-04-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、表示装置、および情報処理方法
JP6465672B2 (ja) 2015-01-29 2019-02-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP6345627B2 (ja) 2015-05-20 2018-06-20 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP6218787B2 (ja) 2015-09-29 2017-10-25 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法
JP6452585B2 (ja) 2015-10-01 2019-01-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
JP6514089B2 (ja) 2015-11-02 2019-05-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP6499993B2 (ja) 2016-05-18 2019-04-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP6533761B2 (ja) 2016-05-18 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP6697986B2 (ja) 2016-09-07 2020-05-27 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像領域分割方法
JP6615723B2 (ja) 2016-09-07 2019-12-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および対象物認識方法
JP6662745B2 (ja) 2016-10-04 2020-03-11 株式会社ソニー・インタラクティブエンタテインメント 撮影装置、情報処理システム、および偏光画像処理方法
WO2018110432A1 (ja) 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、コントローラデバイスの制御方法、及びプログラム
WO2018110433A1 (ja) 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、振動制御方法、及びプログラム
US10963055B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Vibration device and control system for presenting corrected vibration data
JP6768933B2 (ja) * 2017-04-14 2020-10-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および画像処理方法
US11145172B2 (en) 2017-04-18 2021-10-12 Sony Interactive Entertainment Inc. Vibration control apparatus
WO2018193514A1 (ja) 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP6887011B2 (ja) 2017-04-19 2021-06-16 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP6757466B2 (ja) 2017-04-26 2020-09-16 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11173394B2 (en) 2017-05-18 2021-11-16 Sony Interactive Entertainment Inc. Information processing apparatus and normal line information acquisition method
JP6851475B2 (ja) 2017-06-06 2021-03-31 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
WO2018235163A1 (ja) 2017-06-20 2018-12-27 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
US11710289B2 (en) 2017-06-29 2023-07-25 Sony Interactive Entertainment Inc. Information processing apparatus, information processing system, and material identification method
WO2019003383A1 (ja) 2017-06-29 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および材質特定方法
JP6771435B2 (ja) 2017-07-20 2020-10-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
JP6721550B2 (ja) 2017-08-04 2020-07-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
JP6821028B2 (ja) 2017-08-04 2021-01-27 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および画像データ読み出し方法
KR101961241B1 (ko) * 2017-09-07 2019-03-22 라인 가부시키가이샤 영상 통화 및 객체 인식을 바탕으로 한 게임 제공 방법 및 그 시스템
WO2019049331A1 (ja) 2017-09-08 2019-03-14 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
US11327329B2 (en) 2017-12-22 2022-05-10 Sony Interactive Entertainment Inc. Information processing apparatus and surface roughness acquisition method
WO2020008511A1 (ja) 2018-07-02 2020-01-09 株式会社ソニー・インタラクティブエンタテインメント 電子機器、コンテンツ処理装置、コンテンツ処理システム、画像データ出力方法、および画像処理方法
JP6934575B2 (ja) 2018-09-14 2021-09-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および物体検出方法
JP7202156B2 (ja) 2018-11-30 2023-01-11 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、位置姿勢取得用デバイス、およびデバイス情報取得方法
US11972591B2 (en) * 2019-05-16 2024-04-30 Maxell, Ltd. Image processing apparatus and image processing method
JP7218435B2 (ja) 2019-05-23 2023-02-06 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法
JP7300517B2 (ja) 2019-11-21 2023-06-29 株式会社ソニー・インタラクティブエンタテインメント 入射光情報取得方法、入射光情報取得システム、および情報処理装置
CN111209050A (zh) * 2020-01-10 2020-05-29 北京百度网讯科技有限公司 用于切换电子设备的工作模式的方法和装置
CN111556305B (zh) 2020-05-20 2022-04-15 京东方科技集团股份有限公司 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质
JP2022138647A (ja) 2021-03-10 2022-09-26 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、情報処理システム、および画像取得方法
US20230410396A1 (en) * 2022-06-17 2023-12-21 Lemon Inc. Audio or visual input interacting with video creation

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4539585A (en) * 1981-07-10 1985-09-03 Spackova Daniela S Previewer
DE3603920A1 (de) * 1985-02-07 1986-08-07 Olympus Optical Co., Ltd., Tokio/Tokyo Verfahren zur aufzeichnung oder darstellung von durch elektrophorese entstandenen bildern
JPH0786914B2 (ja) * 1986-11-07 1995-09-20 株式会社日立製作所 画像を用いた変化検出方法
US5148477A (en) * 1990-08-24 1992-09-15 Board Of Regents Of The University Of Oklahoma Method and apparatus for detecting and quantifying motion of a body part
GB9019538D0 (en) * 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
US5307452A (en) * 1990-09-21 1994-04-26 Pixar Method and apparatus for creating, manipulating and displaying images
JP2921973B2 (ja) * 1990-11-29 1999-07-19 株式会社日立製作所 特定物体の画像抽出方法及び画像抽出装置
JP2522859B2 (ja) * 1990-12-14 1996-08-07 日産自動車株式会社 眼位置検出装置
JPH04328689A (ja) 1991-04-30 1992-11-17 Nippon Telegr & Teleph Corp <Ntt> 動画像からの移動物体抽出方法
US5291560A (en) * 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
JP2849256B2 (ja) * 1991-12-26 1999-01-20 日本電信電話株式会社 画像認識装置
JP2973676B2 (ja) * 1992-01-23 1999-11-08 松下電器産業株式会社 顔画像特徴点抽出装置
JPH05336445A (ja) * 1992-05-29 1993-12-17 Hitachi Ltd 画像処理方法
CN1045129C (zh) * 1993-03-29 1999-09-15 松下电器产业株式会社 个人识别装置
JPH0749949A (ja) * 1993-08-06 1995-02-21 Daikin Ind Ltd 探索点絞り込み方法、追跡型画像位置決め方法、および画像探索方法
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
US5686981A (en) * 1994-02-28 1997-11-11 Menicon Co., Ltd Ophthalmologic device for accurately positioning a contact lens to an eye
US5572596A (en) * 1994-09-02 1996-11-05 David Sarnoff Research Center, Inc. Automated, non-invasive iris recognition system and method
EP0725364B1 (en) * 1995-02-02 2006-11-15 Matsushita Electric Industrial Co., Ltd. Image processing apparatus
JP3892059B2 (ja) * 1995-03-07 2007-03-14 松下電器産業株式会社 動物体追跡装置
DE69524204T2 (de) * 1995-03-31 2002-08-22 Hitachi Europe Ltd., Maidenhead Gesichtsbildverarbeitung
JPH09134418A (ja) * 1995-11-08 1997-05-20 Hitachi Ltd 特定被写体の抽出方法とその装置
JP2920113B2 (ja) 1995-11-09 1999-07-19 ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・アメリカ・インコーポレイテッド 仮想体験環境ネットワークシステム
JP3588883B2 (ja) 1995-12-08 2004-11-17 ヤマハ株式会社 カラオケ装置
US6046745A (en) * 1996-03-25 2000-04-04 Hitachi, Ltd. Three-dimensional model making device and its method
GB9610212D0 (en) 1996-05-16 1996-07-24 Cyberglass Limited Method and apparatus for generating moving characters
JPH09331509A (ja) * 1996-06-12 1997-12-22 Nec Corp テレビ電話用蓄積人物映像表示装置
US6078310A (en) * 1996-06-26 2000-06-20 Sun Microsystems, Inc. Eyetracked alert messages
JP3274608B2 (ja) 1996-07-12 2002-04-15 日本電気株式会社 携帯端末装置
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US6400374B2 (en) * 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
JP3771989B2 (ja) * 1997-03-24 2006-05-10 オリンパス株式会社 画像音声通信システムおよびテレビ電話送受信方法
US5892837A (en) * 1997-08-29 1999-04-06 Eastman Kodak Company Computer program product for locating objects in an image
AU4307499A (en) * 1998-05-03 1999-11-23 John Karl Myers Videophone with enhanced user defined imaging system
CA2295606A1 (en) 1998-05-19 1999-11-25 Sony Computer Entertainment Inc. Image processing apparatus and method, and providing medium
US6611242B1 (en) * 1999-02-12 2003-08-26 Sanyo Electric Co., Ltd. Information transmission system to transmit work instruction information
CN1186936C (zh) * 2000-05-22 2005-01-26 松下电器产业株式会社 图像通信终端
DE10301468B4 (de) * 2002-01-18 2010-08-05 Honda Giken Kogyo K.K. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs

Also Published As

Publication number Publication date
AU3732599A (en) 1999-12-06
JP2004195243A (ja) 2004-07-15
JP4390012B2 (ja) 2009-12-24
KR100575472B1 (ko) 2006-05-03
JP2009048644A (ja) 2009-03-05
JP4258123B2 (ja) 2009-04-30
BR9906453A (pt) 2000-09-19
US7620206B2 (en) 2009-11-17
TW563053B (en) 2003-11-21
RU2000102890A (ru) 2002-03-27
KR20010021971A (ko) 2001-03-15
EP0999518A1 (en) 2000-05-10
CN1272192A (zh) 2000-11-01
EP0999518A4 (en) 2005-07-27
CA2295606A1 (en) 1999-11-25
KR100812903B1 (ko) 2008-03-11
US6714660B1 (en) 2004-03-30
US20040240740A1 (en) 2004-12-02
US20070110279A1 (en) 2007-05-17
WO1999060522A1 (en) 1999-11-25
US7200247B2 (en) 2007-04-03
CN1222911C (zh) 2005-10-12
AU751852B2 (en) 2002-08-29
JP4117682B2 (ja) 2008-07-16

Similar Documents

Publication Publication Date Title
KR100575472B1 (ko) 화상 처리 장치와 방법
US8508578B2 (en) Image processor, image processing method, recording medium, computer program and semiconductor device
KR101190686B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 판독가능한 기록 매체
CN113099298B (zh) 虚拟形象的改变方法、装置和终端设备
JPH07328228A (ja) ゲーム装置
CN108762508A (zh) 一种基于vr体验舱的人体与虚拟人合成系统及方法
US20210037063A1 (en) Information processing device, information processing method, and computer program
JP2021111102A (ja) 動画生成装置およびライブ通信システム
CN111383313B (zh) 一种虚拟模型渲染方法、装置、设备及可读存储介质
JP2007179338A (ja) 情報処理装置
KR100859315B1 (ko) 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법
CN106408666A (zh) 混合现实实境演示方法
JP2000331190A (ja) 仮想変身装置
JP3554477B2 (ja) 画像編集装置
JP2004134891A (ja) 画像処理装置
NZ501228A (en) Imaging process device with predetermined image parts continually extracted, and typically displayed, at higher resolution
MXPA00000656A (en) Image processing apparatus and method, and providing medium
JP4544262B2 (ja) 仮想現実空間共有システムおよび方法、並びに、情報処理装置および方法
JP2001092990A (ja) ３次元仮想空間参加者表示方法、３次元仮想空間表示装置、および３次元仮想空間参加者表示プログラムを記録した記録媒体
CN112057871A (zh) 一种虚拟场景生成方法及装置
JPH11110579A (ja) 仮想現実空間共有システム、仮想現実空間共有方法、クライアント、データ送信方法、データ送信プログラムを記録した記録媒体、表情検出装置、および表情検出方法
Lyons Discrete event modeling of misrecognition in PTZ tracking
JP2002165194A (ja) 情報提供システム及び方法
JP2000024316A (ja) ゲーム装置および情報記録媒体
JP2003099806A (ja) ３次元ゲーム装置、プログラム及びゲーム装置の制御方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E801 Decision on dismissal of amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
E902 Notification of reason for refusal
E902 Notification of reason for refusal
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140220

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150224

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160219

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170221

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180220

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190219

Year of fee payment: 12

EXPY Expiration of term