Creators Welcome: Inside the Video Codecs and Media Engines of Intel® Arc™ Graphics

인코더가 없다면 동영상 파일 크기가 엄청나게 커질 것입니다! 화질과 크기의 균형을 맞추려면 강력한 하드웨어가 필요하며, 고급 편집도 쉽지 않습니다. 다행히도 인텔 아크 그래픽은 크리에이터에게 필요한 기능을 갖추고 있습니다.

톰 피터슨과 톰 그린이 수십 년 동안 컴퓨터 과학을 활용해 동영상 압축의 고급 알고리즘을 소개합니다. 오늘날 모든 디지털 동영상의 작업이 점점 더 복잡해짐에 따라 인텔 X와 같은 특수 컴퓨터 하드웨어가 등장했습니다.^e Arc 그래픽 내부의 미디어 엔진 - 매초 수십억 개의 산술 및 삼각법 계산을 처리해야 합니다. 계산기가 없으신가요? 걱정하지 마세요. 동영상 압축 및 편집의 수학적 원리를 TAP에서 설명해 드립니다.

코덱이란 무엇인가요?

'en'의 줄임말코드r/dec또는 비디오 코덱은 비디오 파일을 더 작게 만들어 저장, 업로드, 다운로드 및 스트리밍이 더 쉬워집니다. 원시 동영상 데이터는 한꺼번에 저장하거나 전송하기에는 디스크 공간을 너무 많이 차지하는데, 압축되지 않은 동영상은 얼마나 많은 저장 공간을 차지할까요?

TAP과 Tom의 설명에 따르면 각 픽셀은 세 가지 색상(빨간색, 녹색, 파란색)으로 구성되며 세 가지 모두 표준 깊이에서 각각 8비트(1바이트)입니다. 이제 여기에 1080p 화면의 픽셀 수인 약 2백만 개를 곱하면 됩니다. 압축하지 않으면 30FPS에서 분당 11GB, 즉 장편 영화 한 편으로 1TB 드라이브를 가득 채울 수 있는 용량입니다. 4K는 이 용량을 4배로 늘리고 HDR 색상을 사용하면 용량이 1.5배 더 늘어납니다. 이제 여기에 YouTube에서만 전송되는 동영상 용량을 곱하면 전 세계 인터넷 용량을 모두 사용해도 부족하다는 것을 알 수 있습니다!

따라서 이 문제를 해결하기 위해 다양한 코덱이 만들어졌습니다. 코덱에는 비디오 파일을 압축한 다음 목적지에서 압축을 해제하는 알고리즘 레이어가 포함되어 있습니다. 시간이 지남에 따라 기술은 발전해 왔지만 기본은 거의 동일합니다:

1. 색 공간 변환

컴퓨터처럼 실제 RGB 값을 사용하는 대신 색 공간을 YUV로 변경하면 사람의 눈의 지각 특성에 더 잘 맞습니다. 우리 눈에는 Y 성분으로 대표되는 밝기를 감지하는 전용 막대 세포가 있거나 luma. 우리 눈의 원추 세포는 색을 보는데, 이 공간에서 U와 V 성분 또는 크로마.

RGB를 YUV로 변환하는 것은 시각적으로 손실이 없는 프로세스이므로 압축은 불가능하지만 압축은 가능합니다. 우리 눈은 전용 로드 셀로 인해 밝기에 가장 민감하기 때문에 압축된 YUV 형식은 압축되지 않은 루마를 저해상도 크로마에 결합하여 다음과 같은 효과를 얻을 수 있습니다. 1.5배~2배 압축 지각의 차이가 거의 없습니다.

2. 공간 및 시간 중복 검색

동영상 프레임에 있는 대부분의 피사체와 배경은 후속 동영상 프레임에서 반복해서 나타나는 경우가 많습니다. 중복 검색 알고리즘은 변경할 픽셀을 감지할 수 있으며, 이 픽셀은 동일하게 유지되어 동영상의 파일 크기를 줄일 수 있습니다.

이 과정에서 미래 예측의 기초가 되는 전체 화면 이미지인 인트라프레임(I-프레임)이 생성됩니다. 예측 프레임(P-프레임)은 이전 프레임과 I-프레임의 델타(잔여 이미지)를 기반으로 전체 이미지를 재구성하는 일련의 지침으로 볼 수 있습니다. 여기에서 많은 마법이 일어납니다. 5배~20배 압축를 사용하지만 오류를 수정하고 이러한 잔여 파일을 압축하려면 추가 단계가 필요합니다.

3. 디코딩 오류 수정 용어 생성

중복 검색을 더욱 강력하게 만들기 위해 인코더는 동일한 픽셀 블록뿐만 아니라 유사한 블록도 감지합니다(예: 이전 이미지에서 색이 변하는 태양이 중복 블록으로 감지됨). 보정 용어는 원본 블록과 비교한 차이 또는 오류를 나타내며, 이 단계에서는 중복 검색으로 인한 이러한 오류가 해결되는 방법을 정의합니다.

4. 주파수 영역에서의 정량화

여기서부터 잔여물을 처리하는 것이 수학적으로 어려워집니다. 정확한 이미지 조각을 저장하는 대신 해당 섹션이 특정 패턴과 얼마나 일치하는지를 저장합니다. 일반적인 방법은 이미지를 픽셀에서 일련의 주파수로 변환하는 이산 코사인 변환입니다.

전체 이미지에 이 작업을 수행한 후에는 사람의 눈으로 인식하는 데 거의 기여하지 않는 고주파는 삭제됩니다. 변경되지 않은 이미지의 모든 부분은 원본 정보를 유지합니다. 이 단계를 거치면 2x-40배 압축 비율은 악용된 중복성과 원하는 파일 크기를 달성하는 데 필요한 손실 압축의 양에 따라 달라집니다.

5. 기호 코딩

마지막 단계는 1920년대에 시작된 컴퓨터 과학의 한 분야인 정보 이론에서 비롯됩니다. 위의 모든 데이터 변환을 거친 후에도 데이터는 여전히 0과 1의 집합입니다. 원래 수량대로 정확히 나열하는 대신 파일 전체에 나타나는 반복되는 비트 패턴을 더 짧은 비트 패턴으로 표현할 수 있습니다. 높은 확률로 나타나는 시퀀스에 더 적은 비트를 할당함으로써, 이는 또 다른 1배-2배 압축 를 프로세스에 추가합니다.

이 모든 레이어가 작업을 완료하면 최종 비디오 파일은 다음과 같습니다. 600배-1000배 더 작아짐 비압축 동영상에 비해 최신 코덱을 사용합니다.

인텔 아크 그래픽으로 더 빠른 인코딩 및 디코딩

소니 엔지니어들은 미디어 처리를 위한 가속 하드웨어를 개발해 온 오랜 역사를 가지고 있습니다. 그 유산은 오리지널 MMX 명령어 세트부터 2와 함께 도입된 최초의 풀 하드웨어 인코더 및 디코더인 퀵싱크 비디오(QSV)에 이르기까지 다양합니다.^nd 세대 인텔 코어 프로세서.

인텔 아크 그래픽이 최신 코덱을 위한 전용 하드웨어를 갖추고 있으며 대부분의 경우 다른 GPU보다 빠르게 실행된다는 것은 놀라운 일이 아닙니다. 다양한 프로그램과 코덱에 대한 여러 가지 일대일 트랜스코딩 레이스에서 인텔 아크 A750과 엔비디아 RTX 4060, 인텔 아크가 내장된 인텔® 코어™ 울트라 155H와 AMD 라이젠 7 프로 7840U를 비교했습니다.

프로그램이 동영상 직접 트랜스코딩에 가까울수록 인텔 아크 그래픽에서 더 빠른 성능을 발휘합니다. HandBrake가 그 좋은 예로, 다른 동급 하드웨어보다 인텔 아크 그래픽에서 1.5배~3.5배 빠르게 실행됩니다.

크리에이터 여러분 환영합니다: 인텔® 아크™ 그래픽의 비디오 코덱 및 미디어 엔진 살펴보기