четверг, 22 сентября 2011 г.

3 сентября. Семинар QASib. Отчет

3 сентября QASib провели семинар, посвященный темам автоматизации и тест-дизайна для около 70 тестировщиков из Новосибирска, Томска, Омска и Барнаула. Семинар принимала компания Parallels.
Для одних автоматизация-неведомый зверь. Для других - процесс, ставший естественной частью цикла разработки довольно давно.
Кто-то приехал за знаниями и опытом, кто-то пообщаться с коллегами, но большинству было интересно - как устроена изнутри одна из самых известных и крупных IT-компаний Новосибирска.
Чтобы приоткрыть завесу тайны, для участников семинара Parallels провели небольшую экскурсию.
Совсем недавно команда разработки Parallels переехала в новый офис. И теперь занимает три этажа в современном бизнес-центре в самом сердце Новосибирска. Гостям предоставилась возможность заглянуть к разработчикам, тестировщикам, администраторам, познакомиться с традициями компании, узнать кем и какие продукты разрабатываются в Новосибирске и
Гость мероприятия из Омска , Нина Александрова отметила "При посещении компаний такого рода интересно понять, как организован рабочий процесс, распределены полномочия и какие организационные и технические инновации внедряются, что положительного можно взять на вооружение и внедрить в своей повседневной деятельности."
Другой участник семинара QASib отметил, что в гости к другим компаниям стоит ходить, т.к. интересны "...прежде всего, чужой опыт. Какие задачи были решены, какие проблемы и подводные камни встретились и как пути обходы и решения были найдены. Как организован процесc тестирования как таковой. "
Доклады

Конференцию-семинар открыла Светлана Щербина со своим взглядом на тестирование методом свободного поиска и тестирование по тест-кейсам. В рамках доклада Светлана рассмотрела плюсы и минусы каждого подхода, привела данные об использовании подхода в тех или иных компаниях. Главный вывод- никакого противопоставления! Подходы прекрасно дополняют друг друга!

О том как устроено автоматизированное функциональное тестирование поиска Web API 2GIS поделилась Татьяна Курносова. Основная сложность в тестировании заключается в подборе входных значений тестов-вариантов названий фирм и организаций. в своем докладе Татьяна наглядно, просто и понятно изложила подход к выбору классов эквивалентности на основе реальных данных, и то как на основе этих классов строятся тесты.

Мария Колчинская поделилась опытом автоматизации тестирования продукта Eclipse Tigerstripe (инструмент для создания UML диаграмм и кода на их основе) в компании Xored. Для автоматизации используется разработанный в Xored инструмент Q7 (тоже созданный на платформе Eclipse и поддерживающий работу с графическими элементами). Базовые принципы для разработки тестов - максимальный отказ от ручных тестов, максимально возможная актуальность тестов, независимость тестов друг от друга и т.д.
Создается отдельная база автоматизированных тестов для всего приложения для покрытия основной функциональности, новая функциональность так же обязана быть покрыта тестами, на каждый тестовый случай заводится отдельный тест, так же тесты создаются на каждый полученный от заказчиков баг. А все, что проходится руками - делается с включенным рекордером.
Мария подробно рассказала и продемонстрировала подход к подготовке, записи, запуску,поддержке и анализе результатов тестов на продукт с огромным количеством графики.

Особое место заняла серия докладов от Parallels.
Доклад Алексея Заломленкова об использовании Selenium для многопоточного тестирования приложения Parallels Panels Products состоял из двух частей - первая относилась к проблемам и вариантам их решения, вторая - о схемах использования Selenium, применявшихся в компании в разное время.
Под многопоточным тестированием подразумевается параллельное выполнение автотестов на множестве конфигураций (различные ОС, архитектуры и т.д.). Selenium для этих целей начали использовать более 4х лет. В настоящий момент используется окружение на базе Selenium RC 1.0.3, OS Linux (в основном) и Windows, Parallels Virtuozzo Containers, Xvfb. Для решения задачи реализации возможности параллельного выполнения тестов в первую очередь учитывалось то, что решение должно быть надежным, масштабируемым, должна поддерживаться приемлемая производительность, и важно эффективное использование имеющихся ресурсов. Алексей подробно рассмотрел проблемы запуска и работы тестов при больших нагрузках и другие особенности тестового окружения. А так же эволюцию схемы использования селениума - от Selenium Customer Balancer (обычного скрипта на Perl) до сложной системы серверов.

Эту тему продолжил Казаков Кирилл. В своем докладе Кирилл затронул темы - что такое облако, зачем Parallels для тестирования нужно облако, как создать и использовать собственное облако, как использовать собсnвенное облако эффективно.
Задачи, которые решаются - получение виртуальной машины с нужной конфигурацией, запуск автоматических тест-планов, параллельный запуск тест-планов, проведение perfornmance, load, density тестов. Облако позволяет запускать более 3 тысяч автотестов для более 10 продуктов на более 150 поддерживаемых конфигураций.
Разработка облака началась более 3х лет назад, а когда Кирилл предъявил действующую схему - зал буквально замер и ахнул!

Серию докладов завершили Александр Киров и Григорий Кареев рассказом о тестирование производительности продукта, состоящего из множества долгоживущих (сервисы) и короткоживущих (утилиты) процессов. Предлагаемая задача заключается в определении сколько ресурсов продукт потребляет в целом и сколько потребляют отдельные процессы. Сложности,возникающие в процессе решения связаны с неоднозначностью получаемых значений и их трактованием, а так же необходимостью измерять потребление ресурсов краткоживущих процессов.
Для решения этих задач можно пользоваться стандартными средствами ( содержимое proc, команда top для Linux, Win Task Manager и Process explorer для Windows). Но для тестирования продуктов Parallels инструментарий должен удовлетворять конкретным требованиям - необходимость слежения за группой процессов, слежения за изменением дерева процессов, нужно иметь способ получения информации об умершем процессе, а так же должно обеспечиваться отсутствие влияния работы самого анализатора на результат.
Проблемы решаются с помощью специально разработанного в Parallels продукта - PTool. Продукт представляет собой набор утилит, которые позволяют в произвольный момент времени можно подключаться к ядру, следить за нужными данными и отключаться, а затем полученные двоичные данные конвертировать в удобный для чтения формат и записывать.
Впечатления
После семинара несколькот участников попросили ответить на вопрос
"Есть ли польза от подобных мероприятий?"
Александр, Томск
"Практическая ценность есть всегда и во всем. Такие мероприятия позволяют узнать как проходит процесс тестирования в других организациях, увидеть людей, занимающихся тем же, чем и сам, послушать как они решают свои задачи. как справляются с проблемами, возникающими на пути. Ну и лишний раз убедиться, что есть такие же "сумасшедшие" которые тоже любят познавать мир ломая и исследуя его. (Ну какой нормальный человек будет проверять одно и то же работающие устройство/программу/сайт/функциональность, чтобы убедиться, а на этот то раз сломается или сломали таки наконец, сработает также или по другому, и как же ее сломать так чтобы обвинить в этом другого)) (например разработчика что не умеет программировать !-) )."

Сергей Высоцкий, Новосибирск
" Конечно. Как минимум посмотреть как и над чем работают другие люди, как делать надо и как не надо. В конце-концов общение с коллегами по цеху."


Алексей Заломленков, Новосибирск, докладчик
"Есть. Обмен знаниями и опытом (например кто, что и как делает). Ну и пообщаться со старыми знакомыми.. :)"




Нина Александрова, Омск
"Практическая значимость подобных мероприятий очевидна: это, в первую очередь, общение в среде профессионального сообщества, возможность поделиться опытом хождения по тем или иным граблям, выработать общее впечатление о предложенной коллегами практике, получить рекомендации от коллег, которые сталкивались с такими проблемами и успешно их решали. Большим плюсом является возможность пообщаться с докладчиками лично, задать интересующие вопросы и уточнить моменты, которые не вошли в презентацию. "

Читая Ваши отзывы в анкетах мы были приятно удивлены тому, что почти каждый участник ограничился оценкой "Все было просто супер!"
Хотим выразить огромную благодарность зрителям, докладчикам и компании Parallels, а так же лично Сергею Олейникову, Максиму Кутову и Татьяне Мейер за поддержку организации и радушный прием!


Фото с события

Материалы начнем публиковать на этой неделе

Комментариев нет:

Отправить комментарий