Тестирование Потокового Видео по Wi-Fi. Сравнение решений различных вендоров.

Тестирование услуги Потокового Видео на сети Wi-Fi

 

 

Независимое тестирование оборудования Wi-Fi различных производителей в лаборатории Miercom, январь 2010 года. Перевод.

Решения тестировались на поддержку работы Wi-Fi-инфраструктуры с трафиком потокового видео.

Внимание, на нашем сайте появился новый раздел Тестирование оборудования, где мы будем размещать результаты независимых тестов и сравнений.


Тестировались вендоры:
1. Cisco Systems
2. Aruba
3. Hewlett-Packard
4. Motorola

Тестировались решения:

Решение-1  / Cisco Systems
- Контроллер WLAN Cisco 5508,
- Точки Доступа Cisco LAP1140 и  LAP1250.

Решение-2  /  Aruba Networks
- Контроллер WLAN Aruba 6000,
- Точки Доступа Aruba 125 и 124.

Решение-3  / Hewlett-Pakkard
- Контроллер WLAN HP MSM750,
- Точки Доступа HP Procurve MSM422.

Решение-4  /  Motorola
- Контроллер WLAN Motorola RFS7000,
- Точки Доступа Motorola AP7131.


Тестирование проводилось компанией Miercom.
Miercom - независимый центр тестирования с высокой мировой репутацией. Результаты проведенных им сотен сравнительных анализов различных продуктов опубликованы в  Network World, Business Communications Review - NoJitter, Communications News, xchange, Internet Telephony и других изданиях. Частные сервисы тестирования от Miercom позволяют сделать анализ конкурентных продуктов, определить уровень индивидуальных продуктов. Функционал Miercom включает всестороннюю сертификацию и тестовые программы, например Сертификация взаимной работы (интероперабильность), Сертификация надежности, Сертификация безопасности и Сертификация экологичности. Компания также предлагает программу тестов производительности, которая является наиболее точной и доверенной программой в индустрии для оценки эффективности продуктов, их рыночной ценности и производительности.

Компания Cisco Systems запросила провести независимое тестирование надежности и качества доставки мультикастовых видеопотоков по беспроводной и проводной локальным сетям, используя Контроллер WLAN Cisco 5508 (релиз ПО: 6.0.185), который имеет поддержку технологии VideoStream. Предмет тестирования - измерение и сравнение Качества использования услуги Потокового Видео конечным пользователем (QoE-Quality of Experience), общей масштабируемости системы и утилизации сети из-конца-в-конец (Е2Е) при использовении тестируемых решений. Компания Miercom также провела полное сравнительное тестирование качества пользовательского опыта от использования услуги видео, предлагаемое различными компаниями-производителями Wi-Fi решений: Контроллеры Aruba 6000 (3.4.1), Hewlett-Packard MSM750 (5.3.1), Motorola RFS7000 (4.1) и подходящие Точки Доступа WiFi-стандарта 802.11n корпоративного класса от этих вендоров.

Технология Cisco VideoStream - это новый функционал, который предлагает надежную и масштабируемую платформу для доставки всех типов видоетрафика на сети WLAN. Для проверки Опыта пользователя от качества услуги Видео (QoE) была записана оценка индекса - Индекс Доставки Медиаконтента/“Media Delivery Index” (MDI) по отчетам тестового и измерительного оборудования VeriWave.

Для лучшего понимания тестов рекомендуется ознакомиться с технологией Cisco VideoStream на нашем сайте.

Схемы и описания проводившихся тестов Потокового Видео на сети Wi-Fi.

Тест 1.

Схема дизайна Теста 1.



Целью Теста 1 было собрать метрики качества видео, которые можно подсчитать, для Контроллера WLAN  Cisco 5508 с технологией VideoStream. Метрики индекса MDI были получены путем измерения Фактора Задержек (Delay Factor/DF) и Уровня Потерь в медиатрафике (Media Loss Rate/MLR). DF дает метрику для измерения джиттера или задержки, MLR дает метрику для измерения потерь пакетов или отклонения в корректной последовательности достижения цели. Оба показателя (DF и MLF) влияют на возможность системы качественно доставлять потоковый видеоконтент до конечных пользователей. Эти тесты НЕ проводились на конкурентных решениях. Точки Доступа Cisco в ходе тестов присоединялись к тестовой карте с поддержкой 802.11n  от VeriWave (www.veriwave.com). Приложение, которое использовалось для тестирования было «VeriWave WaveQoE test suite», которое отрабатывало специальный скрипт для проверки производительности мультикастового потокового видео. ПО от VeriWave выполняло симуляцию видеотрафика и генерировало отчеты, которые включали показатели DF и MLR.  Уровень соглашения об уровне качества (Service Level Agreement/SLA) был определен  в ПО VeriWave как DF 50ms и MLR 10 фреймов/сек, что давало целевое значение индекса MDI  50:10.  Любой поток, который не соответствовал требуемому критерию SLA (т.е. был ниже 50 DF и/или ниже 10 MLR), попадал под определение - хуже, чем видео «корпоративного уровня». Измерения были выполнены дважды. Первый раз с выключенной функцией VideoStream и второй раз с включенной функцией. Выполнялась симуляция 5-ти клиентов с потоками как стандартного качества SD (Standard Definition)  5Mbps, так и высокого качества HD (High Definition) 20Mbps. Качество обслуживания QoS измерялся в MDI, который определяет пользовательский опыт в терминах  DF и MLR, что является удобным подходом для оценки и обеспечения SLA.


Тест 2.

Схема дизайна Теста 2.
 



Целями Теста 2, фазы 1, являлось выполнение ряда тестов на Контроллере Cisco 5508 и других конкурентных продуктах 802.11n для сравнения производительности, QoE, потребления полосы пропускания и масштабируемости. В качестве клиентских устройств использовались ноутбуки Dell и Lenovo с интегрированными адаптерами Intel с поддержкой 802.11n. На этих ноутбуках проигрывались видеопотоки через видеоплеер Video LAN (VLC). Тест выполнялся с использованием 15-ти клиентских компьютеров в чистом радио-окружении и при прямой видимости. Сначала инфрастркутура нагружалась одним мультикастовым потоком низкого качества (1-2 Mbps), отправлявшимся 5-ти клиентам. Затем в сеть добавлялся второй поток среднего качества (3-6 Mbps), который отправлялся следующим 5-ти клиентам. Затем новый поток DVD-качества (7-9 Mbps) отправлялся следующим 5-ти клиентам. Между каждым шагом ислледовались качество видео и масштабируемость.

В фазе 2 (Тест 2) сравнивались решения: Контроллер Cisco 5508 с Точками Доступа 1250/1140 и  Контроллер Аруба с ТД 125. Выполнялись тесты производительности Е2Е и занятие полосы пропускания. Для этого теста были развернуты 6 географических зон с 10 клиентами каждая. В каждой зоне была одна ТД от  Cisco и одна от Aruba. Тест был начат с решения Cisco. Начиная с зоны 1, была подключена ТД и 10 клиентов, и запущен поток 3-6 Mbps c использованием контроля ресурсов на Контроллере Cisco. Затем в зоне 2 была запущена ТД 2 и еще 10 клиентов, получающих видеопоток с ТД 2. При этом зона 1 продолжала работать. И далее все повторилось с зоны 3 по зону 6. Всего на данном тесте Контроллер Cisco обслуживал одновременно 6 Точек Доступа, 60 клиентов и 6 мультикастовых потоков.

Идентичный тест был проведен с решением от Aruba: Контроллер Аруба 6000 с 6-ю Точками Доступа Аруба 124/125 в тех же географических зонах, что и ТД Cisco. Тест продолжался пока система не смогла обслуживать дополнительных клиентов. Затем была замерена утилизация аплинка между граничным и корневым свичами в каждой зоне, как показано на рисунке со сценарием теста.

Основные выводы и заключения по результатам тестов Потокового Видео:

1. Контроллер Cisco 5508 с функцией VideoStream предлагает в  3 раза большую масштабируемость по сравнению с конкурирующими продуктами и, при этом, поддерживает качество видео на отличном уровне -  5 по шкале MOS (Mean of Score).
2. Технология Cisco VideoStream оптимизирует производительность транспортной сети, занимая в 30 раз меньше полосы, чем функция Aruba Optimized Dynamic Multicast от Аруба.
3. Низкая задержка и нулевые потери при передаче медиатрафика наблюдалось, когда использовалась функция Cisco VideoStream.
4. Функция Cisco VideoStream предоставляла наибольший уровень эффективности при передаче видеопотоков обычного качества (SD) и высокого качества (HD).

Пояснения и замечания к проводившимся тестам Потокового Видео.

Cisco 5508

Рисунок 1.


Контроллер WLAN Cisco 5508 с функцией VideoStream дает возможность роста масштабируемости видеоклиентов более чем в два раза в сравнении с решением от Аруба - из-за значительно более эффективной утилизации полосы аплинка на Контроллере WLAN.

Затем масштабируемость и утилизация измерялись путем анализа потребляемой полосы пропускания и наблюдения общего качества видео. При этом выполнялось масштабирование при тестировании до 60-ти конкурирующих Wi-Fi-клиентов по проводным и беспроводным сетям, используя расширенный функционал мультикастинга для каждой из систем. Miercom оценила уровень QoE, требуемый для поддержки бизнес-видео в сетях корпоративного класса. Дальнейшие тесты выполнялись для расчета эффективности технологии Cisco VideoStream и качества мультикастового видео путем измерения DF и MLR. Была также выполнена оценка  эффекта, который оказывала технология VideoStream на масштабируемость количества клиентов на Точку Доступа. Функционал VideoStream сравнивался в части масштабируемости и общей эффективности с функционалом поддержки мультикастинга Aruba Optimized Dynamic Multicast на Контроллере Аруба 6000. При этом решения от Hewlett-Packard и Motorola используют стандартные возможности для мультикастинга в рамках стандарта 802.11n и не предлагают никаких расширенных возможностей для поддержки мультикастового видео - и не были включены в тестовые сценарии утилизации полосы пропускания.

Качество Видео с функционалом Cisco VideoStream:
параметры Delay Factor (DF), Media Loss Rate (MLR)

Видеоприложения меняют подходы к ведению бизнеса. С момента, когда видеоприложения интегрируются в бизнес процессы, приложения должны иметь идентичный уровень доступности, качества, производительности, масштабируемости и надежности в беспроводной сети стандарта WiFi, как обычно в проводной сети. Обычный уровень для корпоративного класса видеопотоков имеет дипазон 1-3Mbps и это может стать проблемой при использовании в решениях со стандартными мультикастинговыми возможностями. Учитывая, что видеотрафик очень чувствителен к задержкам, методы поддержания качества обслуживания QoS используются для приоритезации и гарантирования, что эти приложения будут иметь достаточную полосу.

Рисунок 2.

 
Контроллер Cisco 5508 с включенным функционалом VideoStream
позволяет существенно снижать DF как для видео стандартного качества SD,
так и для высокого качества HD. Это обеспечивает лучший показатель QoE
при использовании потокового видео в беспроводной сети WLAN.
Красный цвет – VideoStream выключен
Синий цвет    – VideoStream включен
 

Рисунок 3.


Контроллер Cisco 5508 с функционалом VideoStream
Предоставляет значительное уменьшение показателя
MLR Media Loss Rate, как для видео стандартного качества SD,
так и для высокого качества HD.
Красный цвет – VideoStream выключен
Синий цвет – VideoStream включен


Технология Cisco VideoStream предоставляет возможности предпочтительной обработки качества обслуживания QoS для потоков, которые считаются критичными для бизнеса. Этот трафик будет иметь приоритет выше остального трафика (веб-видео, серфинг, некритичные видеопотоки и т.п.). В то же время Cisco VideoStream обеспечивает защиту клиентов через механизм контроля занятия радиоресурсов (Resource Reservation Control/RRC). Этот механизм отклоняет новые запросы на присоединение к мультикастовым видеопотокам, которые могут вызвать перегрузку по полосе или в радиоканале. Cisco VideoStream обеспечивает надежную доставку мульткастинга путем  увеличения качества и значение соотношения потоки/клиенты, которое может обслуживать одна Точка Доступа. При выключенной функции Cisco VideoStream на Контроллере показатель DF был измерен на уровне 78 и 76 ms для потоков  SD и HD качества. Такое значение был признан неудовлетворительным и вызвал плохое качество видео у пользователей. При включенном Cisco VideoStream значение DF уменьшилось с 78 ms до 1 ms для видеопотоков SD качества и с 76 ms до 2 ms для потоков HD качества.

Дополнительно  на улучшение DF повлияло то, что значение MLR уменьшилось  практически до нуля, когда был включен Cisco VideoStream, и для SD, и для HD потоков. Это обеспечивало доставку без потерь. См. Рис. 3.  Путем комбинирования показателей DF:MLR тестовое оборудование расчитало значение MDI. Результирующее значение было 2.46:0 для HD и 1.15:0 для SD. Референсное значение MDI было определено как 50:10 для SLA, как индустриальный стандарт QoE для видео потоков корпоративного класса.

 

Масштабируемость и Качество Видео с мультикастингом

Качество видео было измерено и записано в процессе выполнения тестирования каждого продукта до максимальной эффективной масштабируемости с использованием мультикастового видео. Значение Mean Opinion Score (VIDMOS) для видео было определено для каждого протестированного решения.

Рисунок 4.


Относительные показатели качества видео показаны на Рис. 4 (от 1/Очень плохое до 5/Отличное). Использование функционал мультикастинга, доступного в решениях Cisco (VideoStream) и Aruba (DMO), позволило получить поддержку до 15 клиентов на Точку Доступа. Для  решений, которые основываются только на поддержке функционала для мультикастингового видео, в соответствии со стандартом 802.11n, предел, достигнутый на тестах, составлял 5 клиентов на Точку Доступа. Применялись идентичные техники для измерения DF и MLR с одновременной визуальной оценкой QoE и VIDMOS для каждого тестируемого решения с максимальным масштабированием.

Как показано на Рис. 5, все контроллеры могли поддерживать до 5-ти клиентов  с низкой битовой скоростью видеопотоков при использовании стандартного мультикастинга. VIDMOS - это субъективная оценка, основанная на усреднении мнений множества наблюдателей, которые просматривают качество видео на каждом клиенте. Рисунок 5 детализирует значение VIDMOS для каждого продукта. Решения Cisco и Aruba были протестированы как с включенной, так и выключенной оптимизацией мультикастинга.

Контроллер Cisco 5508 с включенным функционалом VideoStream обеспечивал наилучший QoE с отличным показателем VIDMOS равным 5.0 единиц при обслуживании 15 клиентов на Точку Доступа. При использовании этого решения корпорации могут доставлять требуемый QoE даже в комнатах для конференций или классных комнатах. Во время тестов решений со стандартным мультикастингом при добавлении медиапотоков со средней битовой скоростью (3-6Mbps) качество видео потоков на клиентах оценивалось как плохое (2 VIDMOS).  Этот тест подтвердил известные ограничения мультикастинга. Однако когда был включен VideoStream на Cisco 5508 и добавлены 5 клиентов, проигрывающих видеопоток средней битовой скорости и 5 клиентов, проигрывающие видеопоток DVD качества, качество видео было оценено на 5.0.

Рисунок 5.


Схожая ситуация наблюдалась, когда было включена оптимизация мультикастинга (Dynamic
Multicast Optimization) на Контроллере Аруба и были добавлен 15 клиентов, на которых показатель VIDMOS был оценен в 4.5. Решения Cisco и Aruba предлагают оптимизацию мультикастинга через специальный функционал на Контроллере. При тестах Аруба была обнаружена видимая деградация изображения на 2-3 клиентах когда добавлялись последние 5 клиентов DVD качества.    Cisco VideoStream был способен поддержать 15 клиентов на ТД с гарантированно наивысшим QoE. Hewlett-Packard и Motorola поддерживают стандартный мультикастинг и не имеют возможности оптимизировать ни мультикастинговое видео, ни занятие полосы.

Эффективность доставки Мультикстингового Видео по сети Wi-Fi

Успешная и эффективная доставка мультикастингового трафика как на проводной, так и на беспроводной сетях - необходимое условие для масштабируемости и постоянного уровня опыта конечных пользователей. Оба ведущих вендора выполняют конверсию трафика из мультикастинга в юникаст для улучшения качества доставки. Но этот процесс реализован по-разному у каждого вендора. Тесты были выполнены для проверки эффективности каждого производителя в доставке мультикастинга через законченную модель сети (проводной и беспроводный сегменты вместе). Решение Аруба конвертирует пакеты из мультикаста в юникаст в Контроллере и затем отправляет уже юникастовые пакеты к Точке Доступа. Такая архитектура создает центральное узкое горло в Контроллере и является причиной повышенной нагрузки на проводную инфраструктуру (все потоки уже в юникасте идут от Контроллера к точкам в количестве всех клиентов, потребляющих видеотрафик, прим. Kom-Way.Team).
Технология Cisco VideoStream, имея мощные процессоры в Точках Доступа, выполняет конверсию мультикста в юникаст непосредственно в ТД. Это позволяет доводить видеопотоки как мультикаст до самой границы WLAN, прямо до начала радиоинтерфейса.  Юникаст возникает уже непосредственно в радио, что очень существенно разгружает проводную инфраструктуру ЛАН. Контроллер Cisco 5508 предлагает эффективную доставку мультикастинга через всю Е2Е сетевую инфраструктуру.

Контроллер Cisco 5508 продемонстрировал высокую эффективность в тестах масштабируемости достигая 60-ти клиентов без каких бы то ни было компромиссов в качестве обслуживания потокового видео. Решение от Аруба достигло пика в 30 клиентов. Дополнительные клиенты на Точке Доступа Аруба в зоне 4 вызвали разрушение услуги для всех клиентов в зоне 1 (см. описание процесса тестирования и зон в Тесте 2, фазе 2). Когда клиенты добавлялись с низкоскоростными потоками 1-2 Mbps, удалось достигнуть уровня масштабирования в 32 клиента у Аруба. Добавление еще одного клиента (вероятно 33-го, прим. Kom-Way.Team) на Контроллер от Аруба негативно влияло на потоковое видео у всех клиентов зоны 2, возникал эффект заморозки картинки. Контроллер Cisco 5508 может обслуживать вдвое больше клиентских сессий без влияния на качество потоковой передачи по сети.

Рисунок 1 демонстрирует, что Контроллер Cisco 5508 поддерживает уровень загрузки порта на коммутаторе границы (Edge) в 0,7% хотя клиенты продолжают добавляться в сеть для получения потокового видео. Загрузка порта у Контроллера Аруба увеличивалась линейно в соответствии с тем, как добавлялись клиенты в каждой зоне, и достигла 20,9% с 30-тью клиентами. Контроллер Cisco с технологией VideoStream обеспечивает эффективную доставку мультикастового трафика. Решение от Аруба потребляет больше полосы пропускания, чем решение от Cisco (помните о том, что конверсия мультикаст-юникаст и репликация видеопотоков у Cisco выполняется в Точках Доступа, а у Аруба на Контроллере, прим. Kom-Way.Team).

Общие выводы

Контроллер Cisco 5508 с технологией VideoStream обеспечивает доставку потокового видео с уровнем сервиса корпоративного класса. Механизмы приоритизации полосы пропускания позволяют клиентам динамически занимать ресурсы по мере необходимости. Корпоративные коммуникации, видеотренинги и другие критичные для бизнеса виды трафика будут получать приоритет по сравнению с менее важными задачами, которые будут дожидаться своей очереди пока не высовободятся ресурсы сети. Функционал Cisco VideoStream увеличивает и улучшает QoE (улучшает впечатление пользователя от услуги видео, прим. Kom-Way.Team) для мультикастового видео путем снижения показателя DF до уровня менее 3 ms и показателя MLR практически до нуля, что было выявлено в ходе тестирования. Контроллер Cisco 5508 доказал возможности масштабирования до уровня 15 клиентов с потоковым видео на Точку Досутпа с включенным VideoStream. Без использования VideoStream типовая Точка Доступа может обслуживать только 5 клиентов с потоками HD качества. Компании, которые собираются использовать видеоприложения на беспроводной сети, получат существенное преимущество от инвестирования в решение Cisco с Контроллером 5508 и технологией VideoStream.

Функция Cisco VideoStream предлагает корпоративному рынку эффективное решение для доставки видео высокого разрешения по беспроводной сети. Занятие ресурсов сети (проводной и беспроводной) поддерживается на минимальном уровне, в то время как  Cisco VideoStream обеспечивает высокий уровень масштабирования системы и высшее качество видео.

Выводы о Производительности от Miercom

Основываясь на результатах лабораторного тестирования Контроллера Cisco 5508 с включенной функцией VideoStream, компания Miercom установила, что производительность и масштабируемость решения Cisco является наивысшей по сравнению с протестированными конкурирующими продуктами. Тесты подтвердили, что Контроллер Cisco 5508 c включенной функцией VideoStream обеспечивает наилучший показатель QoE для видео по сравнению с конкурирующими продуктами. Контроллер Cisco 5508 с технологией VideoStream получил сертификат проверки производительности от Miercom (Miercom Performance Verified Certification).


Оригинальная статья (на английском) находится по адресу:
http://www.miercom.com/pdf/reports/20100101.pdf


Kom-Way.Team

Использование материалов этого сайта разрешено только с согласия komway.ru и наличии прямой ссылки на источник.