KR20100067115A

KR20100067115A - 영상 재생 장치 및 영상 재생 방법

Info

Publication number: KR20100067115A
Application number: KR1020107008237A
Authority: KR
Inventors: 지 오까다; 겐이찌로 아리도메; 유끼오 이소베
Original assignee: 소니 주식회사
Priority date: 2007-10-23
Filing date: 2008-10-20
Publication date: 2010-06-18
Also published as: WO2009054333A1; JPWO2009054333A1; US20100183277A1; EP2202968A4; US8260118B2; CN102724515B; JP5333229B2; CN101828391B; EP2202968A1; CN101828391A; CN102724515A; EP2202968B1

Abstract

디지털 카메라로 촬영한 영상을 재생할 때의 좌우 흔들림 방지를 실현하여, 대형 화면 텔레비전 상에서의 시청을 쾌적하게 한다. 촬영 기록 시에는, 얼굴 검출 위치 중심 좌표 데이터를 ARI 데이터로 하여 VOBU(GOP)마다 0.5초 단위로 스트림의 속성 정보부에 기록해 둔다. 재생 시에는, 얼굴 중심 위치 좌표의 검출 데이터가 포함되는 영상의 재생 시에 GOP 스트림의 ARI 데이터를 RUV 단위의 일괄 미리 판독으로 미리 다수 VOBU분을 판독하여 얼굴 중심 위치 좌표에 대해 GOP 단위로의 결락 시간의 보간, 프레임 단위로의 시간 이동 평균 연산으로 화면 이동량을 시간축 평활화 연산한다.

Description

영상 재생 장치 및 영상 재생 방법{VIDEO REPRODUCTION DEVICE AND VIDEO REPRODUCTION METHOD}

본 발명은, 디지털 비디오 카메라 등의 영상을 기록 매체에 기록하는 영상 재생 장치 및 영상 재생 방법에 관한 것으로, 특히 예를 들어 개인 레벨로 촬영한 영상을 영상 흔들림 등의 악영향을 방지하면서 재생하는 영상 재생 장치 및 영상 재생 방법에 관한 것이다.

더욱 상세하게는, 본 발명은 촬영한 영상에 포함되는 좌우 흔들림을 억제하면서 재생하여, 시청자가 뱃멀미와 비슷한 증상을 일으키는 것을 방지하는 영상 재생 장치 및 영상 재생 방법에 관한 것으로, 특히 촬영 기록 시의 얼굴 검출 위치 정보를 이용하여 영상 재생 시에 얼굴의 좌우 흔들림을 억제하는 영상 재생 장치 및 영상 재생 방법에 관한 것이다.

최근, 필름이나 감광판을 사용하여 촬영하는 은염 카메라를 대신하여, 화상을 디지털 부호화 처리하여 보존하는 디지털 카메라가 후반에 보급되어 있다. 이러한 종류의 디지털 카메라는 광전 변환 및 축적을 행하는 픽셀 배열의 수광부를 포토다이오드에 의해 구성한 고체 촬상 소자에서 화상을 캡처한다. 고체 촬상 소자로서, 예를 들어 CCD(Charge Coupled Device: 전하 결합 소자)나 CMOS(Comprementary Metal Oxide Semiconductor: 상보형 금속 산화물 반도체) 등을 들 수 있다.

디지털 카메라로 촬영된 화상은, 예를 들어 MPEG(Moving Picture Experts Group) 등의 소정의 부호화 포맷으로 부호화된 후, 기록 매체에 기록된다. 또한, 이러한 기록 화상은 복호하여 재생 출력할 수 있다. 예를 들어, 디지털 카메라에 설치된 LCD(Liquid Crystal Display) 등의 표시 장치를 통해 재생하거나, 나아가 기록 매체를 촬영 장치로부터 취출하여, 다른 재생 장치에 장전하여 표시 재생할 수 있다. 혹은, 요즘 네트워크 기술의 발달에 따라, 디지털 카메라를 PC나 그 밖의 정보 기기에 접속하여, 기록 매체의 교체 조작을 행하지도 않고, 기록 매체로부터 판독한 화상을 데이터 전송하여 표시 재생할 수 있다.

그런데, 촬영 기술이 미숙한 개인이 조작이 서툴러(예를 들어, 큰 손 떨림) 카메라를 격렬하게 움직이게 되는 일이 자주 있고, 동화상의 촬영 시에는 영상 흔들림으로 되어 기록되게 된다. 물론, 많은 디지털 카메라에는 광학 렌즈로 보정하는 기계식 손 떨림 보정 수단이나, 이미지 센서 상에서의 화상 처리로 보정하는 전자식 손 떨림 보정 수단과 같은 손 떨림 보정 기능이 탑재되어 있다. 그러나, 큰 흔들림의 보정은 제거가 불가능하여, 촬영 영상 전체가 크게 흔들리게 된다.

흔들림을 포함한 영상을 시청하면, 영상 멀미를 초래하는 위험을 내포하고 있다. 영상 흔들림을 좌우 흔들림과 상하 흔들림으로 분류하면, 좌우 흔들림은 뱃멀미와 같은 현상이다. 최근에는 일반 가정에도 대형 화면 텔레비전이 보급되어 있는데, 특히 대형 화면으로 흔들리는 영상을 보았을 때에는, 시청자는 영상 흔들림에 의해 영상 멀미가 일어나기 쉽다. 흔들림이 특히 심한 경우에는, 구역질이나 두통과 같은 인체에의 영향이 발생하므로, 영상의 안전성에도 관계되는 문제이다.

방송 제작 현장에서는, 이러한 영상 멀미 등에 대응하기 위한 영상 작성 메뉴얼이 준비되어 있다. 즉, 방송국 등에서의 사전에 컨트롤된 영상 콘텐츠의 경우, 방송 시스템으로서 송신측과 수신측에서 악영향 영상을 나타내는 메타 정보를 통해 영상 신호를 제어함으로써, 악영향을 방지하는 구조가 제안되어 있다. 이에 반해, 개인 레벨로 촬영한 영상의 규제는 어렵고, 개인이 촬영한 영상을 재생 출력하였을 때에 영상 멀미를 초래할 위험을 내포하고 있다.

예를 들어, 촬상된 동화상을 부호화하여 기록할 때는, 촬상된 동화상의 큰 흔들림을 검출하여 큰 흔들림에 대응한 동화상의 재생 시에 있어서의 흔들림을 저감하도록 제어하기 위한 재생 제어 정보를 부가해 두고, 동화상을 재생할 때는 재생 제어 정보에 기초하여 재생을 제어하는 촬상 기록 재생 장치에 대해 제안이 이루어져 있다(예를 들어, 특허문헌 1을 참조). 그런데, 당해 촬상 기록 재생 장치는, 큰 흔들림은 멈추어 정지로 변경되므로 영상 멀미는 사전에 방지하는 것이지만, 동화상 재생 시에 재생 화면으로부터 영상 흔들림 자체를 보정하는 것은 아니다.

또한, 동화상 데이터의 기록 시에는, 현재의 프레임과 1개 앞의 프레임과의 화상의 어긋남량(어긋남 방향을 포함함)을 공지의 화상 처리에 의해 검출하여, 이 어긋남량을 손 떨림 정보로서 동화상 데이터의 청크의 서브 헤더에 기록해 두고, 동화상 데이터의 재생 시에는, 미리 오리지날 동화상 데이터의 전체 에어리어 A보다 작은 손 떨림 보정용 에어리어 B를 설정해 두고, 오리지날 동화상 데이터로부터 손 떨림 보정용 에어리어 B 내의 동화상 데이터를 잘라내어 소정의 화상 크기로 리사이즈하는, 동화상 기록 장치 및 동화상 재생 장치에 대해 제안이 이루어져 있다(예를 들어, 특허문헌 2를 참조). 이러한 동화상 기록 장치 및 동화상 재생 장치에 따르면, 현재의 프레임과 1개 앞의 프레임의 화상의 어긋남량을 손 떨림으로서 검출하는 경우, 동화상 데이터로부터 손 떨림을 제거할 수는 있어도, 얼굴의 좌우 흔들림을 충분히 제거할 수는 없는 것으로 사료된다.

일본 특허 공개 제2007-134822호 공보 일본 특허 공개 제2004-248171호 공보

본 발명의 목적은, 예를 들어 개인 레벨로 촬영한 영상을 영상 흔들림 등의 악영향을 방지하면서 재생할 수 있는, 우수한 영상 재생 장치 및 영상 재생 방법을 제공하는 데 있다.

본 발명의 또 다른 목적은, 촬영한 영상에 포함되는 좌우 흔들림을 억제하면서 재생하여, 시청자가 뱃멀미와 같은 증상을 일으키는 것을 방지할 수 있는, 우수한 영상 재생 장치 및 영상 재생 방법을 제공하는 데 있다.

본 발명은, 상기 과제를 참작하여 이루어진 것으로, 소정의 동화상 포맷에 의해 부수되는 속성 정보와 함께 기록 매체에 기록된 영상 스트림을 재생하는 영상 재생 장치이며, 상기 기록 매체에는 속성 정보로서 영상 스트림으로부터 검출된 얼굴의 중심 위치 좌표로 이루어지는 얼굴 검출 위치 정보가 기록되어 있고,

상기의 기록된 영상 스트림을 상기 속성 정보와 함께 상기 기록 매체로부터 판독하는 판독 수단과,

상기의 판독된 영상 스트림을 복호하는 복호 수단과,

상기 속성 정보에 포함되는 얼굴 검출 위치 정보에 기초하여 화면 이동량을 예측하여, 영상 스트림에 포함되는 얼굴 흔들림을 보정하는 얼굴 흔들림 보정 수단과,

상기한 얼굴 흔들림을 보정한 후의 영상 스트림을 출력하는 출력 수단을 구비하는 것을 특징으로 하는 영상 재생 장치이다.

예를 들어 개인 레벨로 촬영한 영상에는 조작의 서투름 등에 기인하여 영상 흔들림이 포함되는 경우가 많다. 디지털 비디오 카메라로 촬영한 영상을 대형 화면 텔레비전 등으로 재생할 때, 심하게 흔들리는 영상을 보았을 때에는, 영상 흔들림에 의해 영상 멀미가 일어나기 쉽고, 구역질이나 두통과 같은 인체에의 영향이 발생하므로, 영상의 안전성에도 관계되는 문제이다. 손 떨림 보정 기능으로는 충분히 제거할 수 없는 큰 영상 흔들림이 있는 경우에 영상 멀미를 사전에 방지하는 촬영 기록 재생 장치에 대해 몇 가지 제안되어 있지만, 얼굴의 좌우 흔들림에 기인하는 영상 멀미를 방지하는 재생 장치 혹은 재생 방법은 존재하지 않는다.

이에 대해, 본 발명에 따르면, 얼굴 검출 기술을 사용하여 영상에 포함되는 얼굴을 검출하고, 얼굴의 중심 위치 좌표로 이루어지는 얼굴 검출 위치 정보를 속성 정보로서, 촬영한 동화상과 함께 기록해 두고, 영상 재생 시에는 기록해 둔 얼굴 검출 위치 정보를 이용하여 얼굴의 좌우 흔들림을 보정하도록 하고 있다. 이 결과, 유저가 대형 화면 텔레비전 등으로 재생 영상을 시청하는 경우라도, 영상 멀미를 일으키는 것을 방지할 수 있다.

본 발명에 관한 영상 재생 장치는, 예를 들어 MPEG 형식에 부호화하여 기록 매체 상에 기록되어 있는 영상 데이터를 재생한다. MPEG 포맷에서는, 복수 프레임분의 화상을 기초로 하나의 화면을 생성하므로, GOP라 불리는 복수의 프레임으로 이루어지는 그룹을 단위로서 취급한다(주지). 그리고, 촬영 영상에 포함되는 피사체의 검출 얼굴의 중심 위치 좌표로 이루어지는 얼굴 검출 위치 정보를 GOP의 속성 정보로서 기록해 둔다. 예를 들어, GOP마다 0.5초 단위로, 검출 얼굴의 중심 위치 좌표로 이루어지는 얼굴 검출 위치 정보를 속성 정보로서 스트림의 속성 정보부에 기록해 둔다.

또한, 본 발명에 관한 영상 재생 장치는, 영상 재생 시에 속성 정보로서 기록되어 있는 얼굴 검출 위치 정보를 미리 판독하여, 시간 연속적으로 보간 평균하여, 영상의 재생 얼굴 흔들림 보정의 제어를 행하도록 하고 있다. 이때, 재생 화상을 얼굴 중심 좌표로 확대 재생한다. 기록한 영상이 고화질(HD) 화상이면, 조금 확대해도 화질의 열화는 눈에 띄지 않는다. 속성 정보로서 기록한 얼굴 검출 위치 정보를 재생 시에 판독함으로써, 시간적으로 긴 미리 판독이 실현된다. 따라서, 시각 경과에 수반하는 횡좌표 위치 변화 데이터가 긴 기간 동안, 판독하여 처리할 수 있으므로, 고정밀도의 화면의 얼굴의 좌우 흔들림 보정이 실현된다.

재생 개시 시에, 화상 정세 품위 모드와 화상 애스펙트 모드를 취득한다. 기록된 얼굴 검출 위치 정보가 포함되는 영상의 재생 시에는, GOP 스트림의 얼굴 중심 위치 좌표 데이터를 포함하는 GOP 속성 정보를 일괄 판독에 의해 다수의 GOP분만큼 판독하면, 프레임 재생 표시 시각과 얼굴 중심 위치 좌표의 주견표(이하,「얼굴 위치 정보 테이블」이라고도 부름)를 필드 단위로 작성한다. 그리고, 얼굴 중심 위치 좌표에 대해 GOP 단위로의 결락 시간을 보간하여, 프레임 단위로의 시간 이동 평균 연산에 의해 각 프레임에서 화면 내의 얼굴 검출 중앙 위치의 이동량을 시간축 평균화 연산한다.

영상 확대 처리를 행할 때에는, 화면 중심으로부터 오프셋한 검출 얼굴의 중심 위치 좌표를 중심으로 한 소정의 확대율에 의해 재생 화상의 중심 오프셋 확대 처리를 프레임 단위로 실시함으로써, 재생 영상의 좌우 흔들림 보정을 실현할 수 있다.

또한, 재생 중인 얼굴 중심 위치 데이터의 판독 갱신은 재생 영상 스트림의 재생 스트림 버퍼로의 판독 갱신 요구가 발생하는 타이밍에서 영상 스트림의 일괄 판독 시에 실시한다.

또한, 얼굴 검출 위치 정보의 판독 갱신을 행하여, 필드 단위로 얼굴 위치 정보 테이블을 생성함으로써, GOP 속성 정보 상의 당해 테이블을 사용하여 얼굴 검출의 유무 및 검출 얼굴의 중심 위치 좌표의 예측 시간 변화 보정 제어를 고정밀도로 원활하게 행할 수 있다.

본 발명에 따르면, 예를 들어 개인 레벨로 촬영한 영상을 영상 흔들림 등의 악영향을 방지하면서 재생할 수 있는, 우수한 영상 재생 장치 및 영상 재생 방법을 제공할 수 있다.

또한, 본 발명에 따르면, 촬영한 영상에 포함되는 좌우 흔들림을 억제하면서 재생하여, 시청자가 뱃멀미와 같은 증상을 일으키는 것을 방지할 수 있는, 우수한 영상 재생 장치 및 영상 재생 방법을 제공할 수 있다.

또한, 본 발명에 따르면, 촬영 기록 시의 얼굴 검출 위치 정보를 이용하여, 영상 재생 시에 얼굴의 좌우 흔들림을 적절하게 억제할 수 있는, 우수한 영상 재생 장치 및 영상 재생 방법을 제공할 수 있다.

본 발명에 따르면, 부호화된 영상 음성 스트림의 카메라 촬영 기록 재생 시의 속성 정보와, 스트림 데이터의 미리 판독 처리를 활용함으로써, 얼굴 흔들림이 정확한 예측과 얼굴의 좌우 흔들림 보정에 의해 재생 영상의 인물 좌우 흔들림을 효과적으로 방지할 수 있다. 예를 들어, 디지털 카메라로 촬영한 개인적인 영상을 재생할 때의 좌우 흔들림 방지를 실현하여 대형 화면 텔레비전 상에서의 시청을 쾌적하게 할 수 있다.

본 발명의 또 다른 목적, 특징이나 이점은, 후술하는 본 발명의 실시 형태나 첨부하는 도면에 기초하는 더욱 상세한 설명에 의해 명백해질 것이다.

도 1은 본 발명의 실시에 제공되는 촬영 기록 재생 장치(100)의 구성을 모식적으로 도시한 도면이다.
도 2a는 UDF 파일 시스템의 일례(SD 포맷의 경우)를 도시한 도면이다.
도 2b는 UDF 파일 시스템의 다른 예(HD 포맷의 경우)를 도시한 도면이다.
도 3은 DVD Video의 데이터 구조를 도시한 도면이다.
도 4a는 인물의 우측 시프트 위치의 화상 확대 보정을 행하는 모습을 도시한 도면이다.
도 4b는 인물의 좌측 시프트 위치의 화상 확대 보정을 행하는 모습을 도시한 도면이다.
도 5a는 눈이나 입 등의 얼굴 부분의 패턴과 사람의 얼굴 형태 분포의 일치에 의해 얼굴 중심 위치 좌표를 출력하는 모습을 도시한 도면이다.
도 5b는 얼굴 검출 위치 정보를 스트림의 속성 정보로서 기록하는 모습을 도시한 도면이다.
도 6a는 디스크로부터 재생하여, VOBU(GOP)마다 속성 정보를 판독하는 재생 스트림 제어를 설명하기 위한 도면이다.
도 6b는 읽어들여 링 버퍼에 축적된 얼굴 검출 중심 좌표 정보 데이터 집합과, 그에 대응하는 각 GOP의 선두 위치에 대응하는 PTS의 리스트 정보 데이터를 도시한 도면이다.
도 7은 재생 시의 위치 정보의 판독 시퀀스를 설명하기 위한 도면이다.
도 8a는 재생 얼굴 좌표로부터 얼굴의 좌우 흔들림 보정 파라미터를 변환하는 처리를 설명하기 위한 도면이다.
도 8b는 재생 얼굴 좌표로부터 얼굴의 좌우 흔들림 보정 파라미터를 변환하는 처리를 설명하기 위한 도면이다.
도 9a는 스트림의 서치를 위해 VOBU 속성 정보로서 유지하고 있는 서치 정보가 미디어 상의 위치 어드레스를 가리키는 제어를 설명하기 위한 도면이다.
도 9b는 데이터 버퍼에 축적된 VOBU 데이터가 재생으로 소비되고, 얼마 남지 않게 되었을 때에 다음 RUV 데이터가 판독 축적되는 모습을 도시한 도면이다.
도 10은 얼굴 중심 위치 좌표로부터 프레임 시각 경과에서의 저주파 횡위치 좌표 변화를 취출하여 보정하는 제어를 설명하기 위한 도면이다.
도 11a는 얼굴 중심 위치 좌표의 필드마다의 보간 계산 방법을 설명하기 위한 도면이다.
도 11b는 필드마다의 이동량 δλ를 저장하는 테이블을 도시한 도면이다.
도 12는 영상 스트림의 기록을 행하는 동작 상에서, ARI 데이터에 얼굴 검출 중심 정보를 기입하는 수순을 나타낸 시퀀스도이다.
도 13은 영상 스트림의 재생을 행하는 동작 상에서, ARI 데이터로부터 얼굴 검출 중심 정보를 판독하기 위한 수순을 나타낸 시퀀스도이다.
도 14는 얼굴의 좌우 흔들림 정보와 상하 흔들림 정보의 조합에 의해 재생 화면의 흔들림 보정을 행하는 모습을 도시한 도면이다.
도 15는 얼굴 검출 위치 정보를 이용하여 화면 흔들림 보정하여 베이스 밴드의 재생 영상 확대 처리를 행하기 위한 처리 수순을 나타낸 흐름도이다.
도 16은 화면 횡방향을 얼굴 검출 위치 정보로 좌우 흔들림 보정을 실시함과 함께, 종방향을 배경의 풍경 수평 검출 위치 좌표로 상하 흔들림 보정을 실시하고, 이들을 조합하여 베이스 밴드의 재생 영상 확대 처리를 행하기 위한 처리 수순을 나타낸 흐름도이다.

이하, 도면을 참조하면서 본 발명의 실시 형태에 대해 상세하게 설명한다.

도 1에는, 본 발명의 실시에 제공되는 촬영 기록 재생 장치(100)의 구성을 모식적으로 도시하고 있다. 도시한 촬영 기록 재생 장치(100)는, 예를 들어 영상 음성 입출력 인터페이스(102)를 통해 받아들이는 영상 음성 스트림 데이터의 부호화, 부호화 데이터의 플래시 메모리 드라이브(104)에의 기록, 플래시 메모리 드라이브(104)에 기록한 데이터의 외장형 드라이브(DVD 드라이브 혹은 HDD 드라이브)(105)에의 카피와 같은 데이터 기록 동작, 플래시 메모리 드라이브(104)나 외장형 드라이브(105)로부터의 데이터의 판독, 판독 데이터의 복호 처리, 및 PC 입출력 인터페이스(110)를 통한 화면 출력 등의 데이터 재생 동작을 행한다. 또한, 이들의 동작은, 기본적으로는 유저 인터페이스(109)를 통한 유저 조작에 따라서 기동한다. 이하, 촬영 기록 재생 장치(100) 내의 각 부에 대해 설명한다.

시스템 제어부(101)는 프로그램 메모리(108) 상에 전개된 프로그램을 실행함으로써, 당해 장치(100) 전체의 동작을 통괄적으로 컨트롤한다. 시스템 제어부(101)가 행하는 주된 처리는 영상 음성 스트림 데이터의 파일 포맷 관리와, 플래시 메모리 드라이브(104) 및 외장형 드라이브(105)의 파일 시스템 관리이다.

정지 화상 어플리케이션 포맷 제어부(101A)는 부호화된 정지 화상 데이터를 정지 화상의 어플리케이션(AP) 포맷, 예를 들어 JPEG(Joint Photographic Experts Group)나, JFIF(Jpeg File Interchange Format), Exif(Exchangeable Image file Format), TIFF(Tag Image File Format) 등으로 변환하기 위한 파일 헤더 등의 관리 정보를 생성한다.

동화상 어플리케이션 포맷 제어부(101B)는 부호화된 동화상을 MPEG 등의 동화상의 어플리케이션 파일로 변환하기 위한 관리 정보를 생성한다. 구체적으로는, MPEG 형식으로 부호화된 동화상 데이터를 입력하면, 이를 DVD Video의 어플리케이션 포맷에 준거한 파일군으로 변환하여, UDF 파일 시스템에 따라서 저장한다.

동화상 HD 어플리케이션 포맷 제어부(101C)는 부호화된 HD 동화상을 H.246 등의 HD 동화상의 어플리케이션 포맷 변환하는 관리 정보를 생성한다.

UDF(Universal Disk Format) 논리 파일 시스템부(101D)는 OSTA(Optical Storage Technology Association)가 책정하는 광 디스크 포맷(UDF)에 따라서 패킷 기입 방식에 의한 외장형 드라이브(105)(단, DVD 드라이브 등의 광 디스크 드라이브의 경우)에 대한 파일의 추가나 삭제와 같은 처리를 통상의 파일 시스템을 통해 행한다. 플래시 파일 시스템부(101E)는 플래시 메모리 드라이브(104) 내의 NVRAM(Non Volatile RAM) 뱅크(104E)의 물리적인 특성을 고려한 파일 시스템이며, 플래시 메모리 드라이브(104)의 어드레스 관리, 가비지 콜렉션, 이레이즈 횟수의 평균화 등의 처리를 행한다. DVD/HDD 드라이브 제어부(101F)는 외장형 드라이브(105)용 디바이스 드라이버에 상당하고, 외장형 드라이브(105)에 대한 기록이나 재생 등의 동작의 제어를 행한다.

촬영 기록 재생 장치(100)에는, 영상 음성 입출력 인터페이스(102)를 통해 정보 기기나 AV 기기(디지털 스틸 카메라나 디지털 비디오 카메라, 그 밖의 정지 화상이나 동화상의 소스 기기)가 유선 혹은 무선으로 접속되어 있고, 정지 화상 데이터나 영상 음성 스트림 데이터의 주고 받기 등을 행한다.

본 실시 형태에서는, 영상 음성 입출력 인터페이스(102)는 얼굴 검출 제어부(102A)를 구비하고 있고, 예를 들어 상기 인터페이스(102)를 통해 접속되는 디지털 비디오 카메라로부터 입력하는 영상 스트림 데이터로부터, 영상에 포함되는 피사체의 얼굴의 중심 위치 좌표를 예를 들어 GOP마다 검출하여, 후단의 동화상 코덱부(103B)에 공급하도록 되어 있다. 얼굴 검출 제어부(102A)는, 주지의 얼굴 인식 기술에 기초하여 눈이나 입 등의 얼굴 부분의 패턴과 사람의 얼굴 형태 분포의 일치에 의해 얼굴 중심 위치 좌표를 검출할 수 있다. 얼굴 검출 제어부(102A)에 의해 검출된 얼굴 중심 위치 좌표로부터 영상 스트림에 있어서의 영상 흔들림을 산출할 수 있지만, 그 상세에 대해서는 후술한다.

시각 데이터부(111)는 현재 시각을 카운트(經時)하는 디바이스이다. 본 실시 형태에서는, 시각 데이터부(111)는 정지 화상 어플리케이션 시각을 정지 화상 코덱부(103A)에 공급하고, 동화상 어플리케이션 시각을 동화상 코덱부(103B)에 공급한다.

코덱부(103)는 데이터의 부호화 및 부호화 데이터의 복호 처리를 행한다. 정지 화상 코덱부(103A)는 AV 기기로부터 입력한 정지 화상 데이터의 부호화, 및 부호화된 정지 화상 데이터의 복호 처리를 행한다. 동화상 코덱부(103B)는 AV 기기로부터 입력한 동화상 스트림 데이터의 부호화, 및 부호화된 동화상 데이터의 복호 처리를 행한다. 동화상 HD 코덱부(103C)는 AV 기기로부터 입력한 동화상 HD의 부호화, 및 부호화된 동화상 HD 데이터의 복호 처리를 행한다.

본 실시 형태에서는, 동화상 코덱부(103B)는 영상 음성 입출력 인터페이스를 통해 보내져 오는 영상 스트림 데이터의 기록을 행할 때에, 얼굴 검출부(102A)가 GOP마다 검출하는 얼굴 중심 위치 좌표를 동화상 어플리케이션 시각과 대응시켜 GOP의 속성 정보로서 기록하도록 되어 있다.

데이터 제어부(107)는 부호화된 영상 음성 데이터와 이 영상 음성 데이터의 관리 정보를 축적하여, 기록 개시에 대비한다. 드라이브 제어부(106)는, 예를 들어 ATAPI(AT Attachment Packet Interface) 프로토콜에 따라서, 플래시 메모리 드라이브(104) 또는 외장형 드라이브(105)의 드라이브 내부 펌 정보를 취득하여 드라이브 미디어 상태를 감시하고, 드라이브 미디어 상태에 따라서 미디어 기록 재생 개시를 지시한다. 드라이브 제어부(106)는 영상 음성 데이터가 시스템 스트림으로서 GOP 단위로 저장된 비디오 오브젝트 단위가 복수 집합되어 패킷화된 RUV(Recording Unit Video Object)를 통합하여 미디어에 기록하는 제어를 행한다. 예를 들어, 수십MB 축적되면, 통합하여 디스크(105E)에 기록하는 반복 제어를 행하고 있다. 또한, 광 디스크에서는, RUV는 셀(CELL)에 상당한다. RUV 혹은 CELL은 1회의 기입 동작으로 버퍼로부터 기록 미디어에 통합하여 기입되고, 혹은 1회의 판독 동작으로 재생 미디어로부터 버퍼에 통합하여 판독되는, VOBU(Video OBject Unit) 단위이다.

플래시 메모리 드라이브(104)는 인터페이스(104A)를 통해 메모리 제어부(104D)와 접속되어 있다. CIS(Card Information Structure) 정보 기록부(104B)에는, 플래시 메모리 드라이브(104)의 데이터 형식, 파티션 편성, 벤더 정보, 디바이스 정보 등이 기록되어 있다. 메모리 제어부(104D)는 멀티웨이 캐시(104C)에 일시적으로 축적된 데이터를 NVRAM 뱅크(104E) 내의 해당하는 메모리 칩에 데이터를 기입한다[각 메모리 칩은 데이터를 기록하는 IC(Integrated Circuit) 칩임].

외장형 드라이브(105)는, 예를 들어 호스트 인터페이스(105A)는 ATA 규격에 준거한 커맨드를 드라이브 제어부(106)로부터 수신한다. 디바이스 정보 기록부(105B)는 형식 번호 등 디바이스 드라이버의 식별 정보를 기록하고 있다. 메모리 제어부(105D)는 광 픽업(혹은 자기 헤드)을 위치 제어하여, 일시 기록 영역인 드라이브 캐시(105C)에 축적된 데이터를 디스크(105E) 상에 기록한다. 예를 들어 DVD의 최소 기록 단위는 ECC(Error Correcting Code) 블록이라 불리고, 1ECC 블록은 32K 바이트이다.

유저 인터페이스(109)로부터 영상 음성 데이터의 재생이 지시되면, UDF 논리 파일 시스템부(101D) 또는 플래시 파일 시스템부(101E)는 해당하는 스트림 파일의 개시 섹터와 종료 섹터를 검색한다. 드라이브 제어부(106)는 플래시 메모리 드라이브(104) 또는 외장형 드라이브(105)에 개시 섹터와 종료 섹터에 기록된 데이터의 판독을 지시한다. 계속해서, 데이터 제어부(107)는 외장형 드라이브(105)로부터 판독된 데이터를 정지 화상 코덱부(103A), 동화상 코덱부(103B), 동화상 HD 코덱부(103C) 중 어느 하나에 출력한다. 정지 화상 코덱부(103A)는 판독된 부호화 정지 화상 데이터를 복호하고, 동화상 코덱부(103B)는 판독된 부호화 동화상 데이터를 복호하고, 동화상 HD 코덱부(103C)는 판독된 동화상 HD 데이터를 복호한다. 그리고, 복호한 데이터를 영상 음성 인터페이스(102)를 통해 외부 기기에 전송하여, LCD(Liquid Crystal Display)나 스피커 등(모두 도시하지 않음)에 출력한다.

PC 인터페이스(110)에는 USB(Universal Serial Bus) 등의 유선 혹은 무선, 혹은 광통신의 인터페이스를 이용하여 PC나 그 외의 대형 화면을 갖는 영상 재생 장치 등이 접속되어 있다.

유저 인터페이스(109)로부터 영상 음성 데이터의 전송이 지시되면, UDF 논리 파일 시스템부(101D) 또는 플래시 파일 시스템부(101E)는 해당하는 스트림 파일의 개시 섹터와 종료 섹터를 검색하여, 드라이브 제어부(106)는 플래시 메모리 드라이브(104) 또는 외장형 드라이브(105)에 개시 섹터와 종료 섹터에 기록된 데이터의 판독을 지시한다. 그리고, 판독된 데이터를 PC 인터페이스(110)를 통해 전송처의 기기에 전송한다.

이미 설명한 바와 같이, UDF 논리 파일 시스템부(101D)는 UDF 포맷에 따라서 외장형 드라이브(105)에 대한 파일의 추가나 삭제와 같은 처리를 통상의 파일 시스템을 통해 행한다. UDF 논리 파일 시스템부(101D)는 플래시 메모리 드라이브(104) 상에 UDF 파일 시스템을 구축한다.

도 2a에는, UDF 파일 시스템의 일례(SD 포맷의 경우)를 도시하고 있다. 도시의 UDF 파일 시스템은 디렉토리 구조의 파일 시스템이며, 루트 디렉토리의 직하의 계층에 3개의 디렉토리가 생성되어 있다. 동화상 어플리케이션 포맷 제어부(101B)는 MPEG 형식으로 부호화된 동화상 데이터를 DVD Video의 어플리케이션 포맷에 준거한 파일군으로 변환하여, 루트 디렉토리 직하의 디렉토리「VIDEO_TS」에 저장한다. DVD Video의 어플리케이션 포맷에 준거한 파일군은 "IF"라는 확장자가 붙은 관리 파일과, "VOB"라는 확장자가 붙은 데이터 저장 파일로 이루어지고, 이들 파일은 UDF 파일 시스템 상에서 관리된다.

도 2b에는, UDF 파일 시스템의 다른 예(HD 포맷의 경우)를 도시하고 있다. 루트 디렉토리 직하의 MODELCFG.IND 파일은 벤더 고유 정의의 파일, 제조 업자가 정한 정보 파일이다. 또한, 루트 디렉토리의 직하의 계층에는 AVCHD, AVF_INF, DCIM이라는 3개의 폴더가 생성되어 있다. AVCHD 디렉토리 내에는, 또한 BDMV 폴더가 설치되고, BDMV 폴더 내에는 동화상 영상 기록 어플리케이션 포맷으로 규정된 폴더, 파일군이 기록된다. INDEX.BDM은 인덱스 파일에서 동화상 챕터를 등록하여 관리하는 파일이다. MOVIEOBJ.BDM은 어플리케이션으로 결정된 파일에서 동화상 챕터를 등록하여 관리하는 파일이다. CLIPINF 폴더 내에는 클립 정보 파일(동화상 챕터 내부 스트림에의 액세스를 관리하는 파일)이 저장된다. PLAYLIST 폴더 내에는 플레이 리스트 파일(동화상 챕터에의 콘텐츠마다의 액세스를 관리하는 파일)이 저장된다. STREAM 폴더 내에는 동화상 스트림 파일이 저장된다. 본 실시 형태에서는, 얼굴 검출 제어부(102A)에서 검출되는 얼굴 검출 위치 정보는 GOP의 속성 정보로서, 동화상 스트림이 그리는 픽처에 분산하여 기록된다. AVF_INF 폴더 내에는, 유저 조작을 지원하는 분류 그룹 등록 정보, 기호 정보를 관리하는 파일군이 저장된다. DCIM 폴더 내에는 정지 화상 기록 어플리케이션 포맷으로 규정된 폴더, 정지 화상 촬영 파일군이 저장된다.

도 3에는 DVD Video의 데이터 구조를 도시하고 있다. 광 디스크는 반경의 중심으로부터 단부로 향하는 논리 어드레스 배치를 갖고 있다. 이 논리 어드레스 배치의 선두에는, UDF의 관리 정보가 기록되어 있다. VMG는 디스크 전체의 관리 정보가 쓰여 있다. VTS1 내지 VTSn에는, 1개의 타이틀이 저장되어 있다. 각각의 VTS는 VTSI와 VTSTT_VOBS로 구성된다. VTSI에는 각 VTS의 관리 정보가 쓰여 있고, VSTT_VOBS에는 영상 본체가 저장된다.

VSTT_VOBS는 VOB의 집합(VOB1…VOBn)이다. 1개의 VOB는 255개 이하의 CELL(RUV)로 구성된다. CELL은 복수의 VOBU로 구성되어 있다. VOBU의 크기는 재생 시간에 의존한다. 각 VOBU의 재생 시간은 0.4 내지 1.0초이다. 본 실시 형태에서는, 1VOBU를 1GOP(0.5초)로 한다. 마지막 VOBU의 재생 시간은 예외적으로 1.2초이다.

VOBU는 NV_PCK, V_PCK, A_PCK, S_PCK, ARI_PCK로 구성된다. NV_PCK에는, 재생 표시에 관한 관리 정보를 저장하는 PCI와, 액세스에 관한 관리 정보를 저장하는 DSI로 구성된다. V_PCK는 MPEG 비디오 데이터를 저장하고, A_PCK는 MPEG 오디오 데이터를 저장하고, S_PCK는 MPEG 서브 픽처 데이터를 저장한다. NV_PCK, V_PCK, A_PCK, S_PCK에는 동화상 재생 시각 관리 정보가 부가되어 있고, 영상, 음성, 및 서브 픽처가 동기를 취하여 재생된다. 또한, ARI_PCK에는, 화면 상의 피사체의 검출 얼굴의 중심 위치 좌표 즉 얼굴 검출 위치 정보가 저장되고, 재생 시에 얼굴의 좌우 흔들림 보정의 처리에 이용되지만, 이 점의 상세에 대해서는 후술한다. VOBU를 구성하는 NV-PCK, V_PCK, A, S_PCK, ARI_PCK는 모두 2K 바이트이다. 이들 파일은 동화상 어플리케이션 포맷 제어부(101B)에서 작성된다.

계속해서, 동화상 어플리케이션 포맷 제어부(101B)에 있어서의, 파일군의 생성 처리에 대해 설명한다.

동화상 어플리케이션 포맷 제어부(101B)는, 우선 V_PCK, A_PCK, S_PCK를 작성한다. 동화상 어플리케이션 포맷 제어부(101B)는 입력한 MPEG 동화상 데이터를 MPEG 영상 데이터, MPEG 음성 데이터, MPEG 서브 픽처 데이터로 다중화 분리하고, 각 데이터를 각각 2K 바이트의 V_PCK, A_PCK, S_PCK에 저장한다. 또한, 동화상 어플리케이션 포맷 제어부(101B)는 얼굴 검출 제어부(102A)에서 검출되어 얼굴 검출 위치 정보를 ARI_PCK에 저장한다. 동화상 어플리케이션 포맷 제어부(101B)는 이들 패킷을 생성할 때마다 해당하는 VOBU_TBL을 갱신한다. VOBU_TBL은 패킷의 관리 정보를 축적하고 있다.

그리고, 동화상 어플리케이션 포맷 제어부(101B)는 VOBU_TBL로부터 NV_PCK 또는 RDI_PCK를 생성하고, 생성한 NV_PCK를 V_PCK, A_PCK, S_PCK의 선두에 부가하여 VOBU를 생성한다.

또한, 동화상 어플리케이션 포맷 제어부(101B)는 VOBU를 통합하여 1개의 CELL을 생성한다. 동화상 어플리케이션 포맷 제어부(101B)는 CELL을 생성할 때마다 VTS_TBL을 갱신한다. VTS_TBL은 PGC(Program Chain)를 구성하고 있다.

각각의 CELL에는 고유의 ID 번호가 부여되어 있다. PGC는 그 CELL의 재생 순서를 지정하는 것이다. PCG 내에서 1개 이상의 연속되는 번호의 CELL을 통합한 것을 1개의 프로그램으로서 정의할 수 있다. 또한, PCG 내에서 1개 이상의 연속되는 번호의 프로그램을 통합한 것을 1개의 VOB로서 정의할 수 있다. VOB는 유저가 영상 스트림에 액세스하는 단위로 되는「챕터」에 상당하는 것이다(유저는, 챕터마다 재생의 시작 및 정지를 지시할 수 있음).

동화상 어플리케이션 포맷 제어부(101B)는 복수의 VOB를 통합하여 VOBU 저장용 파일을 생성한다. 도 2a에 나타내는 포맷예에서는, "VTS_01_*.VOB"(*은 숫자)로 이름이 붙여진 파일이 VOBU 저장용 파일이다.

동화상 어플리케이션 포맷 제어부(101B)는 VTS_TBL을 포함하는 VTSI를 작성하고, VTSI 저장용 파일을 생성한다. 도 2a에 나타내는 포맷예에서는 "VTS_01_*.IFO"가 VTSI 저장용 파일이다. 동화상 어플리케이션 포맷 제어부(101B)는, 마지막에 전체의 관리 정보를 통합한 VMG 저장용 파일을 생성한다. 도 2a에 나타내는 포맷예에서는, VIDEO_TS.IFO가 VMG 저장용 파일이다.

본 실시 형태에 관한 촬영 기록 재생 장치(100)에서는, 영상 음성 입출력 인터페이스(102)를 통해 디지털 비디오 카메라로부터 촬영 영상 스트림을 입력하였을 때에, 얼굴 검출 제어부(102A)는 영상 스트림으로부터 검출된 얼굴의 중심 위치 좌표를 얼굴 검출 위치 정보로서 0.5초 GOP 단위로 출력한다. 그리고, 동화상 코덱부(103B)가 영상 데이터의 부호화 처리를 행할 때에, 동화상 어플리케이션 포맷 제어부(101B)가 작성을 지시하는 스트림 속성 정보(ARI_PCK)에 얼굴 검출 위치 정보를 설정하여, 플래시 메모리 드라이브(104) 혹은 외장형 드라이브(105)에 기록하도록 되어 있다.

또한, 플래시 메모리 드라이브(104) 혹은 외장형 드라이브(105)에 기록되어 있는 영상 스트림의 판독을 행하는 경우에는, 동화상 코덱부(103B)에서 영상 스트림의 복호 처리를 행할 때에, 동화상 어플리케이션 포맷 제어부(101B)는 해당하는 스트림 속성 정보(ARI_PCK)로부터 얼굴 검출 위치 정보의 취득을 함께 지시한다. 그리고, 화상 확대 재생 시에는, 얼굴 검출 위치 정보를 기초로, 피사체의 얼굴을 판독 재생 영상의 중심으로 하도록 얼굴의 횡위치의 보정을 행할 수 있다. 이 결과, 대형 화면 텔레비전 등으로 재생 영상을 시청하는 경우라도, 유저가 영상 멀미를 일으키는 것을 방지할 수 있다.

또한, 본 출원 이전에 있어서도, 촬영 영상으로부터 얼굴 검출하는 기술은 존재하고, 예를 들어 카메라 제어부에 있어서 얼굴 검출을 행하는 것이 일반적이다. 그러나, 얼굴 존재의 유무를 동화상 재생 표제 화면의 챕터 속성 정보로서 부수시켜 이용하는 정도로, 베이스 밴드 영상 처리에서 재생 영상 중의 얼굴의 위치 보정(얼굴 흔들림의 보정)에 이용하는 것은 존재하지 않는다.

도 4에는, 얼굴 검출 위치 정보를 이용하여 재생 영상 확대, 재생 얼굴 좌우 흔들림 보정 제어를 행하는 모습을 도시하고 있다. 도 4에서는 특히 피사체의 얼굴 위치의 좌우 보정을 행하는 예를 나타내고 있다. 얼굴 위치의 좌우 보정을 행하는 것은, 인간의 시각 추종은 좌우로 추종하므로, 얼굴의 좌우 흔들림은 시청자에게 착각을 강하게 주어 좌우 흔들림을 느끼게 하여 기분을 나쁘게 만들기 때문이고, 좌우 보정에 의해 좌우 흔들림을 적절하게 제거하여 시청자의 불쾌감을 해소할 수 있다.

재생 개시 시에는, 화상 정세 품위 모드와 화상 애스펙트 모드를 취득한다. 화면 중심 위치에 대한 얼굴 검출 위치 정보의 오프셋은 모드가 HD의 1920/1080의 모드, SD의 와이드/노멀(기록에서는 일률, 720픽셀) 중 어느 것인지에 따라서 가변이다.

도 4a에는 인물의 우측 시프트 위치의 화상 확대 보정을 행하는 모습을 도시하고 있다. 재생 시의 원화상의 얼굴이 우측 위치로 오프셋하고 있는 경우, 화면 중심 위치에 대해 검출 얼굴의 중심 위치가 우측으로 오프셋하고 있고, 이 오프셋을 제거함과 함께, 그 얼굴 검출 중심 위치를 중심으로 베이스 밴드 영상 처리에서 재생 화상을 소정의 배율로 확대 처리함으로써, 인물의 좌우 흔들림이 보정된다.

또한, 도 4b에는 인물의 좌측 시프트 위치의 화상 확대 보정을 행하는 모습을 도시하고 있다. 재생 시의 원화상의 얼굴이 좌측 위치로 오프셋하고 있는 경우, 화면 중심 위치에 대해 얼굴 검출 중심 위치가 좌측으로 오프셋하고 있고, 마찬가지로 이 오프셋을 제거함과 함께, 그 얼굴 검출 중심 위치를 중심으로 베이스 밴드 영상 처리에서 재생 화상을 소정의 배율로 확대 처리함으로써, 인물의 좌우 흔들림이 보정된다.

또한, 인물의 몸은 세로로 길고, 바스트샷의 경우 등, 피사체의 몸 전체가 항상 화면에 들어가 있다고는 할 수 없기 때문에, 상하 흔들림의 보정은 어려운 경우가 있다. 좌우 흔들림은 상술한 바와 같이 얼굴 검출 중심 위로 보정하고, 상하 흔들림은 배경 중심 위치로 보정하는 방법을 생각할 수 있다(피사체의 얼굴을 촬영할 때, 얼굴이 화면으로부터 벗어나 윤곽이 잘리지 않도록 함. 이에 대해, 인체를 촬영할 때는, 인체는 얼굴을 포함한 바스트샷이나 얼굴 업으로 촬영하는 경우가 많으므로, 인체의 종방향의 흔들림을 인체 전체의 윤곽과 세로 크기, 인체상 중심의 이동으로 볼 수는 없음).

도 5에는 얼굴 중심 좌표 정보의 미디어에의 기록 기입 제어를 행하는 모습을 도시하고 있다.

도 5a에 도시한 바와 같이, 영상 음성 입출력 인터페이스(102)를 통해 디지털 비디오 카메라 등으로부터 영상 스트림을 입력하면, 얼굴 검출 제어부(102A)는 피부색 검출 및 눈이나 입 등의 얼굴 부분의 패턴과 사람의 얼굴형 분포의 일치에 의해 검출 얼굴의 중심 위치 좌표를 검출하면, 이를 얼굴 검출 위치 정보로서 후단의 동화상 코덱부(103B)에 출력한다.

동화상 코덱부(103B)에서는, 기록 시의 동화상 스트림 데이터의 부호화 및 재생 시의 데이터 복호를 행하지만, 본 실시 형태에서는, 얼굴 검출 위치 정보를 GOP의 속성 정보로서 사용하면서 기록 재생 제어한다.

도 5b에는 기록 재생 제어의 모습을 도시하고 있다. 카메라 촬영시의 카메라 촬영 정보 데이터 등의 유저 데이터는 ARI 정보로서 동화상 스트림에 기록된다[ARI는, Additional Recording Information(부가적 기록 정보)의 약칭]. 얼굴 검출 제어부(102A)로부터 취득되는 검출 얼굴의 중심 위치 좌표는 ARI 정보 내의 카메라 촬영 정보의 확장 데이터의 하나가 된다. 그리고, 0.5초분의 1GOP를 기록 1VOBU로서 작성할 때에, 얼굴 검출 플래그와 검출 얼굴의 중심 위치 좌표 데이터를 포함하는 얼굴 검출 위치 정보를 VOBU 속성 데이터에 부가하여(도 3을 참조), 디스크 등의 기록 매체에 기록한다.

도 6에는, 동화상 데이터의 재생 시에 얼굴 검출 위치 정보 데이터를 취득하여 얼굴 흔들림 보정의 제어를 도시하고 있다.

도 6a에는 디스크로부터 재생하여, VOBU(GOP)마다의 속성 정보를 판독하는 재생 스트림 제어를 도시하고 있다. 도 6a에 도시한 바와 같이, VOBU 정보 중에 ARI 데이터가 기록되어 존재하고 있고, 동화상 재생 시에는 판독을 행한다. 예를 들어, 그 명칭을「MNFI 데이터」라 한다. VOBU에 부속되는 ARI 데이터를 판독할 때마다, MNFI 데이터 중 얼굴 검출 위치 정보를 재생 얼굴 위치 보정용 링 버퍼에 축적해 간다. 링 버퍼의 크기는 128VOBU분으로 한다.

여기서, RUV라 하는 버퍼 크기에 들어가는 데이터량을 통합하여 판독하는 처리에 의해, 연속되는 스트림에서 복수의 VOBU가 통합하여 판독되어 있다. 그 크기는 촬영시의 피사체가 움직이고 있는 경우에는 버퍼 크기가 되고, 그렇지 않은 경우라도, 재생 서치 제어의 사정으로 최대수를 128VOBU분까지의 읽어들이기로 제한한다.

도 6b에는, 읽어들여 링 버퍼에 축적된 얼굴 검출 위치 정보의 집합과, 거기에 대응하는 각 GOP의 선두 위치에 대응하는 PTS(Presentation Time Stamp)의 리스트 정보 데이터를 나타내고 있다. GOP의 선두 위치에 대응하는 PTS의 리스트 정보 데이터의 시각 정보와 함께, 대응하는 얼굴 검출 위치 정보를 베이스 밴드 영상 처리에 부가한다. 베이스 밴드 영상 처리에서는, 그 얼굴 검출 위치 정보를 중심으로 소정의 지정 배율로 화상을 확대 줌하여 재생함으로써, 프레임마다 재생 화상의 좌우 흔들림을 보정하는 처리를 행할 수 있다.

도 7에는 재생 시의 위치 정보의 판독 시퀀스를 도시하고 있다. 단, 도 7 중「상위」(上位)라 함은, 유저 조작과의 인터페이스를 담당하는 소프트웨어층에 상당하고, 주로 유저 조작이나 기록, 재생, 편집의 개시 및 종료, 편집점 시각의 지정, 챕터 콘텐츠의 번호나 시각을 취급한다. 또한,「하위」라 함은, 실제로 기록 미디어에의 액세스를 제어하는 소프트웨어층에 상당하고, 영상 코덱의 부호화ㆍ복호 처리, 기록 포맷에 따른 데이터의 버퍼링 및 기록 미디어에의 기입, 및 기록 포맷에 따른 기록 미디어로부터의 데이터 판독 및 버퍼링과 영상 코덱으로의 송출을 제어한다.

파일 시스템으로부터 판독된 RUV로부터 스트림 재생 데이터베이스를 통해 PTS가 판독된다. 상위층의 처리에서는 가상적으로, 기록 시에 시간 이산적으로 데이터베이스를 보유하는 경우도 있다. 그러나, 거기에는 영상 음성의 가변 길이 스트림에 대응할 수 있는 서치 정보는 없고, 상위는 추정하는 연산으로 추정하여 대략 그 정도의 시각 위치를 지정 가능할 수 있을 뿐이다.

상위가 적당하게 지정하는 PTS의 데이터베이스의 제작 방법은, 얼굴 인덱스 기능(Face)의 경우에는, 기록 중에 AVCon[동화상 코덱부(103B/103C) 내의, 부호화 복호 하드웨어를 시각 정보와 함께 제어하는 제어 블록에 상당]으로부터 전달된 PTS를 등록한다[동화상의 부호화 복호 제어에서는, 디코드 타임 스탬프와 재생 표시 타임 스탬프(PTS)라는 시각 정보가 반드시 함께 필요하게 되므로, 거기서부터 시각 정보를 취득할 수 있음]. 여기서 말하는 얼굴 인덱스는 동화상 촬영에 있어서 새롭게 얼굴 검출한 시점에서 얼굴 인덱스가 되는 썸네일을 인덱스 등록하는 기능이 있고, 재생 시에는 얼굴 인덱스가 되는 복수의 썸네일을 배열하여 표시된다.

재생 제어측에서는, 그 PTS 추정값을 수취하고, 그것을 포함하는 부근의 RUV를 액세스하여 재생 판독 버퍼에 축적함과 동시에, 해당하는 VOBU 번호의 실제 PTS를 취득하여 위치 정보로서 취득한다. 전회의 재생이 정지한 상태이면 레주메(resume) 정보를 일시적으로 휘발 타입의 메모리 상에 유지하고 있으므로, 그 위치로부터 정확한 재생을 가능하게 실현한다. 레주메 정보가 없는 경우에는, 상위 지정된 가상 PTS 시각 위치를 받아, 그 부근의 데이터를 통합하여 판독하여 시작해 보는 제어를 행한다. 그리고, 그 부근에서 지정된 PTS에 가까운 것(VOBU)을 찾아 거기서부터 재생을 개시한다.

여기서 말하는,「지정된 PTS에 가까운 것」이라 함은, 유저 조작과의 인터페이스를 담당하는 상위층 소프트웨어가 시각으로 재생 위치를 지정하는 것에 대해, 하위의 동화상 코덱부(103B/103C) 및 동화상 어플리케이션 포맷 제어부(101B/101C)에서는, 미디어로부터 버퍼에 판독한 부호화 스트림 중에 포함되는 PTS 정보를 취출하고, 상위층에서 지정된 재생 지정 시각에 가장 가까운 PTS 정보를 선택하는 것을 의미한다(상위층은 미디어에 기록된 부호화 스트림을 직접 제어하는 것은 아니며, 스트림 중의 PTS를 직접 지정할 수는 없기 때문임). 상위층에서 재생 시각이 지정되면, 우선, 상위가 갖고 있는 Duration으로부터 추상적으로 연산하여, 상정PTS를 지정한다. 하위층은 상정 PTS를 상위로부터 전달받으면, MAVI(M2PS), NV_PCK(DVD), MD_PCK(AVCHD)를 판독하여, 상위로부터 전달받아 지정된 PTS에 가까운 VOBU를 픽업하여 적용시킨다.

본 실시 형태에서도 그 재생으로 지정된 프레임의 PTS 시각 정보와, 거기에 대응하는 얼굴 검출 위치 정보를 세트로 하여 취급하는 제어를 하고 있다.

재생 화면 상의 얼굴 검출 프레임은 도 8a에 도시한 바와 같이 xy 화면 좌표계를 사용하여, 얼굴 중심 위치 좌표(x_s, y_s)와 얼굴 크기(x_c, y_c)로 나타낼 수 있다(단, 좌표값은 픽셀 단위로 나타내어지는 것으로 함). 얼굴 중심 위치(x_s, y_s)는 ARI_DATA에 기록되는 얼굴 검출 위치 정보로부터 계산하고, 얼굴 크기(x_c, y_c)는 얼굴 검출 화면 프레임 크기로부터 계산할 수 있다. 얼굴 중심 위치(x_s, y_s)와, 얼굴 크기(x_c, y_c)는 재생 얼굴 흔들림 보정에 필요한 파라미터이다.

동화상을 확대 재생 처리할 때, 얼굴 중심 위치 좌표를 중심으로 하여 단순하게 확대할 수 없는 경우가 있고, 보정 처리가 필요해진다. 예를 들어, 도 8b의 좌측에 도시한 바와 같이, 얼굴 중심 위치 좌표를 중심으로 하여 확대하면 얼굴 검출 프레임의 일부가 화면 확대한 후의 재생 화면의 표시 범위로부터 벗어나게 되는 경우이다. 이러한 경우, 얼굴 검출 프레임이 화면 내부의 한쪽에 들어가는 위치에 시프트 보정하는 좌우 보정 폭 제한을 마련함으로써, 이상한 재생 얼굴 흔들림 보정이 이루어지는 것을 방지하는 제어를 행한다. 도 8b의 우측에 도시한 바와 같이, 확대 재생 화면의 표시 범위에 얼굴 검출 프레임의 각각의 변이 확대 재생 화면의 표시 범위의 각 변에 접하는 위치로 수정하고, 얼굴 검출 프레임이 확대 재생 화면의 표시 범위 내부에 들어가도록 얼굴 중심 위치 좌표를 보정하는 처리를 행한다. 얼굴 검출 프레임은 얼굴 전체를 포함하는 프레임인 것을 전제로 하고 있다. 따라서, 얼굴 프레임 표시 좌표가 확대 재생 화면의 범위 내에 들어가면, 얼굴 범위 내부의 얼굴 전체도 확대 재생 화면 내에 들어가, 얼굴이 모자라지 않아 바람직한 표시가 된다.

본 실시 형태에서는, 영상 재생 시에는, 얼굴 검출 위치 정보를 미리 판독하여, 시간 연속적으로 보간 평균하여, 영상의 재생 얼굴 흔들림 보정의 제어를 행한다. 기록한 얼굴 검출 위치 정보를 재생 시에 판독하면, 시간적으로 긴 미리 판독이 실현된다. 따라서, 시각 경과에 수반하는 횡좌표 위치 변화 데이터가 긴 기간 동안, 판독하여 처리할 수 있으므로, 고정밀도의 화면의 얼굴의 좌우 흔들림 보정이 실현된다.

도 9a에는, 스트림의 서치를 위해, VOBU 속성 정보로서 유지하고 있는 서치 정보가 미디어 상의 위치 어드레스를 가리키는 제어를 도시하고 있다. 서치 정보는 VOBU와 그 미디어 상의 어드레스 위치를 나타내는 것으로, RUV 판독으로 취득된다. VOBU에 포함되는 GOP(1GOP, 2GOP 등도 가능)를 위치 서치하여 지정되는 VOBU 선두를 찾아내기 위해 서치 정보가 사용된다. 단, 동화상 스트림의 부호화 후의 비트레이트가 낮고 데이터 크기가 버퍼 메모리 용량 크기보다도 작게 되는 경우라도, 무한하게 서치 정보를 갖는 것이 아닌, VOBU로서 최대로 128VOBU까지를 서치할 수 있도록, VOBU의 서치 정보 테이블의 최대수를 갖고 있다. 1RUV Max는 128 내지 120VOBU, 또는 20MB(단, RUV 버퍼 크기에 20MB를 사용할 때)이다. 통상의 동화상 촬영에서는, 피사체 영상에 세부 정보를 포함하고, 또한 움직임이 있으므로, 부호화해도 크기는 별로 압축되지 않고, 버퍼 크기의 상한에 이르지 않은 동안에 128VOBU로 되는 일은 없다.

VOBU의 영상 음성 속성 정보 테이블은 그 서치 정보를 기초로, VOBU 영상 음성 스트림의 스트림 속성, 시각 카운터 정보 등을 재생 제어부가 판독함으로써 구성된다. 여기서, ARI 데이터에 포함되는 얼굴 검출 위치 정보도 VOBU마다 통합하여 취득되고 있다.

재생 개시부터 VOBU 데이터가 미디어로부터 판독되어, 데이터 버퍼에 축적되지만, 곧 재생으로 그 VOBU 데이터가 소비된다. 데이터 버퍼 내의 VOBU 데이터가 얼마 남지 않게 되었을 때(예를 들어, 나머지 10VOBU 정도를 끊었을 때), 도 9b에 도시한 바와 같이 판독 갱신 요구가 발생되어, 다음 RUV 데이터가 판독 축적된다. 도 9b에서는, 데이터 버퍼의 상한은 예로서 128VOBU 혹은 18MB까지로 하여 설명하고 있다.

도 10에는, 얼굴 중심 위치 좌표로부터 프레임 시각 경과에서의 저주파 횡위치 좌표 변화를 취출하여 보정하는 제어를 도시하고 있다. 재생 개시 시에는 서치에 대비하여 128VOBU까지 먼저 판독하고, 데이터 버퍼에 축적한다. 즉, 데이터를 버퍼에 미리 판독한 후 재생하므로, 시간적으로 미리 판독한 데이터에 포함되는 얼굴 중심 위치 좌표의 시간적 변화도 사전에 예측하는 것이 가능하게 된다.

얼굴 검출 위치 정보는 VOBU와 함께 속성 정보로서 ARI 데이터 내로부터 취득된다. ARI 데이터 내의 얼굴 검출 위치 정보는, 실제로는 디스크 미디어로부터 0.5초마다의 프레임에 대해서는 불연속인 위치 데이터가 취득된다. 또한, 피사체가 이동하여 화면 에어리어를 벗어나 얼굴을 놓쳐 얼굴 검출되고 있지 않은 기간도 존재할 수 있다. RUV 단위로 대량의 VOBU를 버퍼에 미리 판독 취득하여, 프레임 보간, 얼굴 검출 위치 정보가 없는 구간의 보간, 0.5초 단위의 얼굴 검출 위치 정보(즉, 피사체 검출 얼굴의 중심 위치 좌표)의 불연속인 화면 상의 좌표 변화로서 확실한 미래 예측 위치를 얻으면서 평활화하므로, 시각적으로 위화감이 없는, 시각적으로 미래 예측 위치를 예상한 효율적인 좌우 흔들림 보정이 실현된다.

GOP마다 피사체의 검출 얼굴의 중심 위치가 이동하면, 재생 화면 상에서는 매끄럽지 않은 얼굴의 좌우 흔들림 보정이 되어 버린다. 따라서, 필드마다 좌표를 보간 계산하여, 좌표 정보량을 증가시켜 원활하게 추종시키도록 하고 있다. 도 11에는 얼굴 중심 위치 좌표의 필드마다 보간 계산 방법을 도시하고 있다. 도 11a에서는, 종축에 재생 영상 표시 시간의 시간축을 영상 프레임 단위로 나타내고, 횡축에는 그에 대응하는 화면 상에 있어서의 검출 얼굴의 중심의 횡위치 좌표를 취하고 있다. 확대 재생의 얼굴 중심 위치는 VOBU마다 얻어진다. 베이스 밴드 영상 처리에서는, 각 VOBU로부터 판독한 얼굴 검출 위치 정보의 수평 이동 위치를 시간 평활화하고, 확대 재생한 얼굴의 횡중심 위치로 하여 설정한다.

1GOP(0.5초)마다의 얼굴 중심 좌표 2점으로부터, 1필드(NT=15, PAL=12)마다의 이동량을 계산한다. 그리고, 또한 최대 이동 제한량의 범위를 마련하여, 얼굴 중심 좌표의 이동 가능 범위의 제한 내에서, 1필드마다 나누어 떨어지는 이동 평균 연산에서의 얼굴 중심 위치 좌표의 이동량을 산출하도록 하고 있다.

도 11a에 나타내는 예에서는, 최초의 GOP의 얼굴 중심 위치를 점 A, 다음의 GOP의 얼굴 중심 위치를 점 B, 3번째의 GOP의 얼굴 중심 위치를 점 C로 하고, 각각 0.5초마다 판독되는 VOBU에 속하는 ARI 데이터 내의 얼굴 검출 위치이다. 그리고, 각각의 점 사이에는 영상 프레임이며, NTSC에서는 15프레임, PAL에서는 12프레임의 표시 시각축으로 구성된다.

여기서, A점, B점, C점 그대로 리니어 직선적으로 각 프레임 시각에 좌표를 할당하는 계산 방법은 간이하지만, 보정 동작이 시각적으로 화면 횡방향으로 0.5초마다 불연속으로 보정량이 결정되어 보정되므로 원활한 좌우 흔들림 보정이 실현되지 않아, 바람직하지 않다.

이에 대해, NTSC 또는 PAL의 필드수로 나누어 떨어지는, 예를 들어 0.5초를 3등분하여 시각 중간에 2점을 설치하고, 그에 대해 가중 계수가 부여된 시간 전후 쌍방향의 이동 평균을 취하여 평활화함으로써, GOP 단위, VOBU 시간 단위마다가 아닌, 프레임 단위로 원활하게 횡위치 보정이 실현된다. 1필드마다의 이동량 δλ는 하기식에 의해 계산된다.

상기 식에 있어서, N_GOP는 GOP 중의 프레임수(NTSC에서는 15, PAL에서는 12), K_AVE는 가중 가산 평균의 정규화 계수이다.

필드마다 얼굴 중심 좌표 위치를 A로부터 δ●마다 B까지 구하고, 도 11B에 나타내는 테이블을 작성한다.

베이스 밴드의 재생 영상 확대 처리 시에 이 정보를 부여하여 그 좌표 중심에서 확대 처리 표시함으로써, 얼굴의 좌우 흔들림, 상하 흔들림이 효과적으로 보정된다.

도 12는 영상 스트림의 기록을 행하는 동작 상에서, ARI 데이터에 얼굴 검출 중심 정보를 기입하는 수순을 나타낸 시퀀스도이다.

영상 스트림의 기록 시에는, 상위의 기록 제어에 의해 기록을 개시하고 있는 상태이다. 이때 데이터 버퍼를 제어하여, 부호화하고 있는 코덱부(103)는 0.5초의 VOBU를 작성할 때마다 카메라 정보 갱신 요구를 상위에 나타낸다.

이 요구에 따른 기록 속성 제어에 의해, 별도 카메라 블록으로부터 카메라 촬영 정보를 취득하여 시각이나 영상 신호 등 촬영에 수반하는 영상 스트림의 VOBU 속성 정보가 코덱부(103)에 부여되고, 코덱부(103)에서는 영상 스트림의 부호화가 행해진다.

계속해서, ARI 정보 기입을 위해 카메라 데이터를 부여하여, ARI의 카메라 데이터를 작성 갱신시킨다.

도 12에 나타낸 시퀀스도 상에서는, 카메라로부터 촬영 데이터로서 제공된 것이 기록 재생에 바람직한 형식으로 제공되지 않은 경우에, 기록 제어에 의해 얼굴 위치 좌표를 설정하는 처리를 대행하고, 카메라 촬영 속성 정보로서의 ARI 데이터를 촬영 영상 스트림에 속성 정보로서 부가하는 정보 갱신 동작을 기록 중의 VOBU마다 행하는 동작을 도시하고 있다.

도 13은 영상 스트림의 재생을 행하는 동작 상에서, ARI 데이터로부터 얼굴 검출 중심 정보를 판독하기 위한 수순을 나타낸 시퀀스도이다.

영상 스트림 재생 개시 시에는, 재생 속도의 설정(통상 재생은 1배속), 영상 방식의 HD(1920/1080), SD(720/712/352 등)와 그 횡픽셀 크기의 차이에 의한 종별, 동화상 재생 속성 정보로서의 RUV를 축적하는 스트림 버퍼의 축적 상한값 및 하한값, 스트림 서치 어드레스의 리스트 테이블 단수 설정, 디코드 정보 리스트와 단수와 상한 및 하한 설정, 영상 음성의 재생 정보 테이블의 단수와 상한 및 하한 설정을 행한 후, 영상 스트림 데이터의 재생 디코드 재생 표시를 개시한다.

RUV 단위로 일련의 다수 VOBU를 통합하여 기록 매체로부터 판독하고, 그 카운터 데이터로부터 시, 분, 초로 이루어지는 시각 정보를 작성하여 시각 표시 데이터로서 출력하고, 상위부의 재생 제어에서는, OSD(On Screen Display)나 그래픽 표시 등의 영상 출력 제어의 문자 표시가 행해진다. 여기서 말하는 상위부라 함은, 유저 조작이나 인터페이스를 담당하는 소프트웨어층에 상당한다(전술).

계속해서, ARI 데이터의 리스트로부터 ARI 정보를 해석하여 첫 회의 VOBU의 데이터를 얻는다.

이상이 영상 스트림의 재생 개시 시에 있어서의 ARI 데이터에 포함되는 얼굴 검출 중심 좌표 위치를 취득할 때까지의 수순이다.

영상 스트림의 재생 중, 코덱부(103)가 자신의 버퍼에 축적하고 있는 VOBU를 디코드 재생으로 소비하여, VOBU 데이터 축적량이 설정 하한값을 하회하면, 코덱부(103)는 다음 RUV를 통합하여 기록 매체로부터 판독함과 함께, 재생 속성 제어를 위해, 데이터 제어부(107)에 대해 영상 재생 정보 소비의 통지와 재생 정보 갱신 요구를 제공한다.

이 요구에 응답하여, 재생 속성 제어로서, 코덱부(103)로부터 현재 재생하고 있는 VOBU의 카운터 데이터를 취득하여, HMS 표시 시간 제어로서 HMS(시간, 분, 초) 시간값을 갱신하고, 그 데이터값을 출력한다. 상위의 재생 제어에서는, HMS의 갱신값을 화면의 재생 시각 진행 표시값으로서 사용한다.

그 후, 시스템 제어부(101)는 재생 속성 제어를 위해 ARI 정보를 해석하여 ARI 데이터를 설정 갱신한다. 동화상 어플리케이션 포맷 제어부(101B)는 동화상 코덱부(103B)를 사용하여, 영상 음성 입출력 인터페이스를 통해 보내져 오는 영상 스트림 데이터의 기록을 행할 때에, 얼굴 검출부(102A)가 GOP마다 검출하는 얼굴 중심 좌표 위치 정보를 동화상 어플리케이션 시각과 대응시켜, GOP의 속성 정보로서 ARI에 기록하도록 하고 있다. 여기서, ARI가 값 변화하고 있어 갱신이 필요하면, 갱신 처리로 들어간다. 또한, ARI 정보의 갱신 처리가 전혀 불필요하고, 앞의 VOBU와 일치하고 있으면, 갱신하지 않은 상태의 값을 그대로 유지하여 다음 갱신 기회까지 기다린다.

카메라 촬영 정보 데이터에 일부에서도 정보 갱신이 있으면, ARI 데이터의 갱신을 실행한다. 예를 들어, 검출 얼굴의 중심 위치 좌표가 가로로 이동 변화하고 있었던 경우에는, 그 정보에서 ARI 데이터를 갱신하여 상위에 있어서의 재생 제어를 위해 출력한다.

여기서, 시스템 제어부(101) 내에서 행해지는 영상 음성 어플리케이션 포맷 제어에서는, 영상 편집에 의해 소정의 VOBU 데이터 구간을 비표시로서 영상의 중간 부분 삭제를 행할 수 있는 경우가 있고, 그에 대응하는 처리가 필요해진다. 즉, 이에 대응하는 ARI 정보 해석의 제어로서는, 어플리케이션 포맷 제어에 의해 재생 스트림 데이터가 재생 표시 속성으로부터 재생 비표시 속성으로 옮겨져 버린 상태에서는, 원래의 영상 스트림의 VOBU로부터의 판독한 ARI 데이터에 차이가 있어도 ARI의 갱신 제어는 하지 않고 계속해서 유지함으로써 대응한다. 또한, 영상 스트림의 표시 속성이 비표시 속성 중에는 ARI 데이터는 갱신 제어하지 않는다. 또한, 영상 스트림의 비표시 구간으로부터 표시 구간으로 이행한 타이밍 후에는, ARI 데이터의 내용에 불일치가 있으면, 갱신하여 상위의 재생 제어를 위해 ARI 데이터를 출력하고, 정보를 갱신한다.

재생 제어에서는, 베이스 밴드의 재생 영상 확대 처리를 위해 이 정보를 제공하여, 그 좌표 중심에서 확대 처리 표시함으로써(도 4를 참조), 화면의 좌우 흔들림 및 상하 흔들림을 효과적으로 보정한다.

도 14에는, 얼굴의 좌우 흔들림 정보와 상하 흔들림 정보의 조합에 의해 재생 화면의 흔들림 보정을 행하는 모습을 도시하고 있다.

이미 설명한 바와 같이, 얼굴 검출 위치 정보를 기초로 화면의 좌우 흔들림 정보를 취득한다. 또한, 얼굴 검출 위치 정보 이외의 정보(다른 종류의 피사체)로부터 얻어지는 화상 위치 좌표를 기초로 상하 흔들림 정보를 취득한다. 상하 흔들림 정보를 얼굴 이외의 피사체로부터 취득하는 것은, 얼굴은 신체의 일부이며, 상하 이동과 그 위치를 판별하는 것은 어려운 경우가 있기 때문이다(전술). 또한, 인간의 시각 특성으로서, 좌우 흔들림의 보정은 얼굴로 하고 싶지만, 상하 흔들림은 보다 완만한, 화면 전체를 지배하는 풍경 배경의 상하 흔들림의 검출에 기초하여 보정을 행하고 싶은 경우가 있다.

도 14에는, 스킵하여 이동해 가는 인물을 촬영한 경우의 영상 스트림으로부터 화면 흔들림을 보정하는 모습을 예시하고 있다.

촬영 시에는, 카메라 제어부의 피사체 위치 검출 제어에 의해 얼굴 검출 중심 좌표를 횡좌표로 취득한다. 그 때, 배경 수평선 종위치 흔들림, 기울기 정보 데이터를 종좌표로 취득하여, 영상 스트림과 함께 기록 매체에 기록한다.

또한, 재생 시에는, 화면 횡방향을 얼굴 검출 위치 정보로 좌우 흔들림 보정을 실시함과 함께, 종방향을 배경의 풍경 수평 검출 위치 좌표로 상하 흔들림 보정을 실시하고, 이들을 조합하여 베이스 밴드의 재생 영상 확대 처리를 행하여, 그 좌표 중심에서 확대 처리 표시함으로써, 좌우 흔들림 및 상하 흔들림의 양방이 효과적으로 보정된다.

도 15에는, 얼굴 검출 위치 정보를 이용하여 화면 흔들림 보정하여 베이스 밴드의 재생 영상 확대 처리를 행하기 위한 처리 수순을 흐름도의 형식으로 나타내고 있다. 기록 시에는, 영상 스트림과 함께, 얼굴 검출 위치 정보를 포함하는 속성 정보가 함께 기록 매체에 기록되어 있는 것으로 한다.

영상 스트림 데이터와 그 속성 정보의 판독 처리로서, 우선 1RUV분의 영상 스트림 데이터와 대응하는 속성 정보가 기록 매체로부터 판독한다. 그때, 1RUV 기간의 속성 정보로부터 얼굴 검출 위치 정보의 데이터열을 취득하여, 판독한 영상 스트림의 각 프레임 재생 시각에 대응하는 얼굴 검출 위치 정보를 기술한 얼굴 위치 정보 테이블을 작성한다(스텝 S1).

그리고, 1RUV분의 데이터를 버퍼 메모리에 일괄하여 기입한다(스텝 S2).

이상의 처리를 1RUV마다 반복 실행한다.

또한, 베이스 밴드에 있어서의 속성 정보의 처리 중, 얼굴 위치 연산 처리로서, 시간축에 전달되는 영상의 GOP에 부수되는 얼굴 위치 정보 테이블의 속성 정보를 복수 GOP로 이루어지는 RUV로서 일괄하여 메모리 상에 미리 판독하고, 시각의 가중 이동 평균 연산으로 평활 계산한 수정 후의 얼굴 위치 정보 테이블을 작성한다(스텝 S11).

그리고, 재생 화면 상에서의 얼굴 흔들림 보정을 위해, 현재의 1RUV 데이터의 처리가 완료될 때까지의 동안(스텝 S13의 '아니오'), 재생 표시 시각에 대응하는 수정 후의 얼굴 위치 정보를 순차적으로 출력한다(스텝 S12).

또한, 베이스 밴드에 있어서의 재생 화상의 출력 제어 처리는, 우선 뮤트 상태로 제어되고 있지만(스텝 S21), 버퍼 메모리에 축적되어 있는 1RUV분의 영상 스트림 데이터가 복호 처리되면, 이를 메모리의 소정의 어드레스 위치에 로드한다(스텝 S22).

그리고, 베이스 밴드에 있어서의 재생 화상의 출력 제어 처리는 PTS에 의해 재생화 표시 시각이 제공되고, 대응하는 얼굴 검출 위치 정보를 취득하면, 재생 표시 시각 정보에 대응하는 메모리 상의 재생화 영상을 얼굴 위치 중심으로 발출하여(스텝 S23), 재생화를 확대 줌 출력하여, 얼굴 흔들림 보정이 실시된 재생화를 출력한다(스텝 S24).

이상의 처리를 현재의 1RUV 데이터의 처리가 완료될 때까지의 동안(스텝 S25의 '아니오'), 반복 실행한다.

또한, 도 16에는, 화면 횡방향을 얼굴 검출 위치 정보로 좌우 흔들림 보정을 실시함과 함께, 종방향을 배경의 풍경 수평 검출 위치 좌표로 상하 흔들림 보정을 실시하고, 이들을 조합하여 베이스 밴드의 재생 영상 확대 처리를 행하기 위한 처리 수순을 흐름도의 형식으로 나타내고 있다. 기록 시에는, 영상 스트림과 함께, 얼굴 검출 위치 정보를 포함하는 속성 정보가 함께 기록 매체에 기록되어 있는 것으로 한다.

영상 스트림 데이터와 그 속성 정보의 판독 처리로서, 우선 1RUV분의 영상 스트림 데이터와 대응하는 속성 정보가 기록 매체로부터 판독한다. 그때, 1RUV 기간의 속성 정보로부터 얼굴 검출 위치 정보의 데이터열을 취득하여, 판독한 영상 스트림의 각 재생 시각에 대응하는 얼굴 검출 위치 정보를 기술한 얼굴 위치 정보 테이블을 작성함과 함께, 수평선 정보의 데이터열로부터 각 재생 시각에 대응하는 배경 수평선의 화면 종위치 정보 테이블을 작성한다(스텝 S101).

이상의 처리를 1RUV마다 반복 실행한다.

또한, 베이스 밴드에 있어서의 속성 정보의 처리 중, 얼굴 위치 연산 처리로서, 상기의 얼굴 위치 정보 테이블을 메모리 상에 일괄 취득하여, 제1 시각의 가중 이동 평균 연산으로 평활 계산한 수정 후의 얼굴 위치 정보 테이블을 작성한다. 또한, 배경 수평선의 화면 종위치 정보 테이블을 메모리 상에 일괄 취득하여, 제2 시각의 가중 이동 평균 연산으로 평활 계산한 수정 후의 화면 종위치 정보 테이블을 작성한다(스텝 S111).

그리고, 재생 화면 상에서의 얼굴 흔들림 보정을 위해, 현재의 1RUV 데이터의 처리가 완료될 때까지의 동안(스텝 S113의 '아니오'), 재생 표시 시각마다 대응하는 수정 후의 얼굴 위치 정보 및 화면 종위치 정보를 합성한 중심 위치 정보를 순차적으로 출력한다(스텝 S112).

또한, 베이스 밴드에 있어서의 재생 화상의 출력 제어 처리는, 우선 뮤트 상태로 제어되고 있지만(스텝 S121), 버퍼 메모리에 축적되어 있는 1RUV분의 영상 스트림 데이터가 복호 처리되면, 이것을 메모리에 맵핑한다(스텝 S122).

그리고, PTS에 의해 재생화 표시 시각을 제공하고, 대응하는 합성 후의 중심 위치 좌표를 취득하면, 재생 표시 시각 정보에 대응하는 메모리 상의 재생화 영상을 당해 중심 위치에 발출하여(스텝 S123), 재생화를 확대 줌 출력하여, 얼굴 흔들림 보정이 실시된 재생화를 출력한다(스텝 S124).

이상의 처리를, 현재의 1RUV 데이터의 처리가 완료될 때까지의 동안(스텝 S125의 '아니오'), 반복 실행한다.

또한, 본 발명에 있어서의, 디지털 카메라로 촬영한 영상을 재생할 때의 좌우 흔들림 방지 처리는 전용 하드웨어 상에서 실시되는 것 이외에, 컴퓨터 상에서 소정의 프로그램 코드를 실행시킨다는 형태로도 실현하는 것이 가능하고, 이러한 프로그램 코드는 컴퓨터를, 영상 스트림을 속성 정보와 함께 기록 매체로부터 판독하는 판독 수단, 판독된 영상 스트림을 복호하는 복호 수단, 속성 정보에 포함되는 얼굴 검출 위치 정보에 기초하여 화면 이동량을 예측하여, 영상 스트림에 포함되는 얼굴 흔들림을 보정하는 얼굴 흔들림 보정 수단, 얼굴 흔들림을 보정한 후의 영상 스트림을 출력하는 출력 수단으로서 기능시키는 것이다.

이러한 컴퓨터 프로그램은 컴퓨터 상에서 소정의 처리를 실현하도록 컴퓨터 가독 형식으로 기술된 컴퓨터 프로그램을 정의한 것이다. 바꾸어 말하면, 이러한 컴퓨터 프로그램을 컴퓨터에 인스톨함으로써, 컴퓨터 상에서는 협동적 작용이 발휘되어, 본원의 청구항 1에 관한 영상 재생 장치와 같은 작용 효과를 얻을 수 있다.

이상, 특정한 실시 형태를 참조하면서, 본 발명에 대해 상세하게 서술하였다. 그러나, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 상기 실시 형태의 수정이나 대용을 이룰 수 있는 것은 자명하다.

본 명세서에서는, 카메라로 촬영하는 등 하여 얻어진 영상 스트림을 MPEG 형식의 동화상 포맷으로 부수되는 속성 정보와 함께 기록 매체에 기록하고, 또한 기록 매체로부터 재생 출력하는 시스템에 적용한 실시 형태를 중심으로 설명해 왔지만, 본 발명의 요지는 이에 한정되는 것은 아니다. MPEG 이외의 동화상 포맷으로 영상 스트림을 기록 재생하는 경우라도, 본 발명이 마찬가지로 실현 가능한 것은 물론이다.

요컨대, 예시라는 형태로 본 발명을 개시해 온 것으로, 본 명세서의 기재 내용을 한정적으로 해석해서는 안 된다. 본 발명의 요지를 판단하기 위해서는, 특허청구범위를 참작해야 한다.

100: 촬영 기록 재생 장치
101: 시스템 제어부
101A: 정지 화상 어플리케이션 포맷 제어부
101B: 동화상 어플리케이션 포맷 제어부
101C: 동화상 HD 어플리케이션 포맷 제어부
101D: UDF 논리 파일 시스템부
101E: 플래시 파일 시스템부
101F: DVD/HDD 드라이브 제어부
102: 영상 음성 입출력 인터페이스
102A: 얼굴 검출 제어부
103: 코덱부
103A: 정지 화상 코덱부
103B: 동화상 코덱부
103C: 동화상 HD 코덱부
104: 플래시 메모리 드라이브
104A: 인터페이스
104B: CIS 정보 기록부
104C: 멀티웨이 캐시
104D: 메모리 제어부
104E: NVRAM 뱅크
105: 외장형 드라이브
105A: 호스트 인터페이스
105B: 디바이스 정보 기록부
105C: 드라이브 캐시
105D: 메모리 제어부
105E: 디스크
106: 드라이브 제어부
107: 데이터 제어부
108: 프로그램 메모리
109: 유저 인터페이스
110: PC 입출력 인터페이스
111: 시각 데이터부

Claims

소정의 동화상 포맷에 의해 부수되는 속성 정보와 함께 기록 매체에 기록된 영상 스트림을 재생하는 영상 재생 장치로서, 상기 기록 매체에는 속성 정보로서 영상 스트림으로부터 검출된 얼굴의 중심 위치 좌표로 이루어지는 얼굴 검출 위치 정보가 기록되어 있고,
상기의 기록된 영상 스트림을 상기 속성 정보와 함께 상기 기록 매체로부터 판독하는 판독 수단과,
상기의 판독된 영상 스트림을 복호하는 복호 수단과,
상기 속성 정보에 포함되는 얼굴 검출 위치 정보에 기초하여 화면 이동량을 예측하여 영상 스트림에 포함되는 얼굴 흔들림을 보정하는 얼굴 흔들림 보정 수단과,
상기의 얼굴 흔들림을 보정한 후의 영상 스트림을 출력하는 출력 수단
을 포함하는 것을 특징으로 하는 영상 재생 장치.
제1항에 있어서,
영상 스트림은 복수의 프레임분의 화면 그룹을 단위로 하여 부호화가 실시되고, 또한 각 화면 그룹의 선두의 프레임에 대한 얼굴 검출 위치 정보를 속성 정보로서 영상 스트림에 부수시켜 상기 기록 매체에 기록되어 있고,
상기 판독 수단은 영상 재생 시에, 복수의 화면 그룹분의 영상 스트림 및 그 얼굴 검출 위치 정보를 미리 판독하고,
상기 얼굴 흔들림 보정 수단은 얼굴 검출 위치를 시간 연속적으로 보간 평균함으로써 화면 이동량을 예측하여, 영상의 재생 얼굴 흔들림 보정의 제어를 행하는 것을 특징으로 하는 영상 재생 장치.
제1항에 있어서,
영상 스트림의 속성 정보로서 얼굴 검출 중심 위치 좌표가 상기 기록 매체에 기록되어 있고,
상기 얼굴 흔들림 보정 수단은 화면 중심 위치에 대한 얼굴 검출 중심 위치 좌표의 오프셋을 제거함과 함께, 재생용 화상을 얼굴 검출 중심 위치 좌표에서 소정의 확대율에 의해 확대한 중심 오프셋 확대 처리에 의해 얼굴 흔들림을 보정하는 것을 특징으로 하는 영상 재생 장치.
제2항에 있어서,
상기 판독 수단은 복수의 화면 그룹 분만큼 미리 판독하고,
상기 얼굴 흔들림 보정 수단은 프레임 재생 표시 시각과 얼굴 검출 위치 정보의 대응 테이블을 필드 단위로 작성하고, 화면 그룹 단위마다 얼굴 검출 위치 정보로부터 필드마다의 얼굴 검출 위치의 이동량을 계산하고, 또한 최대 이동 제한량의 범위 내에서 나누어 떨어지는 수의 필드 집합의 이동 평균에 의해 얼굴 검출 위치 좌표를 보정하는 것을 특징으로 하는 영상 재생 장치.
제2항에 있어서,
상기 판독 수단은 영상 스트림의 재생 스트림 버퍼에의 판독 갱신 요구가 발생하는 타이밍으로, 영상 스트림과 함께 얼굴 검출 위치 정보를 일괄하여 미리 판독하는 것을 특징으로 하는 영상 재생 장치.
제1항에 있어서,
상기 얼굴 흔들림 보정 수단은 화면 중심 위치에 대한 얼굴 검출 중심 위치 좌표의 수평 방향의 오프셋을 제거함으로써 좌우 흔들림을 보정함과 함께, 화면 중심 위치에 대한 배경의 풍경 수평 검출 위치 좌표의 오프셋을 제거함으로써 상하 흔들림을 보정하는 것을 특징으로 하는 영상 재생 장치.
제3항에 있어서,
상기 얼굴 흔들림 보정 수단은 소정의 확대율에 의해 재생용 화상을 확대하면, 얼굴 검출 에어리어가 화면 범위를 일부 벗어나게 되는 경우에는, 얼굴 검출 에어리어가 화면 내부의 변에 들어가는 위치에 시프트 보정하는 좌우 보정 폭 제한을 마련하는 것을 특징으로 하는 영상 재생 장치.
소정의 동화상 포맷에 의해 부수되는 속성 정보와 함께 기록 매체에 기록된 영상 스트림을 재생하는 영상 재생 방법으로서, 상기 기록 매체에는 속성 정보로서 영상 스트림으로부터 검출된 얼굴의 중심 위치 좌표로 이루어지는 얼굴 검출 위치 정보가 기록되어 있고,
상기의 기록된 영상 스트림을 상기 속성 정보와 함께 상기 기록 매체로부터 판독하는 판독 스텝과,
상기의 판독된 영상 스트림을 복호하는 복호 스텝과,
상기 속성 정보에 포함되는 얼굴 검출 위치 정보에 기초하여 화면 이동량을 예측하여, 영상 스트림에 포함되는 얼굴 흔들림을 보정하는 얼굴 흔들림 보정 스텝과,
상기한 얼굴 흔들림을 보정한 후의 영상 스트림을 출력하는 출력 스텝
을 포함하는 것을 특징으로 하는 영상 재생 장치.