вторник, 29 ноября 2011 г.

GTAC 2011. Наши в Америке.

26-27 октября в солнечной Калифорнии прошла конференция GTAC (Google Test Automation Conference). В 2011 году темой конференции стало тестирование облачных сервисов. Если дословно,то “Cloudy With A Chance Of Tests”.
Казалось бы, какое отношение столь грандиозное в жизни трудяг Силиконовой Долины событие имеет к сибирским тестировщикам. А отношение вот какое!
Конференцию посетил наш с вами коллега из Новосибирского Parallels, Краснов Александр. За несколько дней до конференции Parallels организовала сбор вопросов, что дало возможность обратиться к мировым светилам отрасли практически каждому сибирскому тестировщику. Александр поделился впечатлениями о прошедшем событии. Как попасть на слет специалистов крупнейших компаний мира, основные идеи и тезисы, самые яркие моменты и впечатления, а так же ссылки на интереснейшие доклады и много-много другой информации вы найдете в его рассказе. Приятного, полезного чтения и просмотра! И не забудьте задать вопросы ;)

ТРАФИК!

"Анонсированная весной конференция GTAC'11 меня очень заинтересовала, поскольку заявленные темы конференции напрямую касались моих профессиональных интересов и области деятельности компании, в которой я работаю. Возможность не только посмотреть доклады, но и пообщаться лично с коллегами из ведущих компаний мира, занимающихся разработкой и тестированием облачного ПО, случается не так часто. Я не очень верил, что мою заявку одобрят, поскольку не являюсь активным участником QA community, и отчёты прошлых лет о удачных и не очень посещениях GTAC настраивали не на самый оптимистичный лад. Однако в середине августа я получил приглашение и благодаря содействию Parallels успел решить все вопросы по организации поездки, несмотря на небольшой оставшийся срок. В этом году кроме Parallels в моем лице Россия была представлена на GTAC командами из Яндекса, JetBrains, WWPass и Invisalign. Джеймс Виттакер за время конференции не раз пошутил про русское вторжение: двое докладчиков родом из России, Илья Фомин из InvisAlign был отмечен за отличные вопросы, а Аня Кутарба из Яндекса выиграла айпад, который разыгрывали среди всех участников конференции.

Перед конференцией была проведена типичная для посетителя Silicon Valley культурная программа, включающая в себя посещение Сан-Франциско и поездку через мост “Золотые ворота”.

Из необычного было посещение неформальной встречи участников конференции в офисе Mozilla, проведённой за день до конференции, на которой удалось познакомиться лично с большей частью докладчиков и активных участников.
За два дня конференции было сделано десять полноценных докладов о тестировании с секцией вопросов и ответов, десять коротких пятиминутных презентаций, а также два программных доклада на открытии каждого дня и два обзорных доклада на отвлечённые темы от приглашённых экспертов на закрытии.
Мне больше всего понравились доклады Yahoo, Salesforce и доклады Google про BDD, про разработку и поддержку автоматических UI тестов и про инструменты тестирования.

  • Andre Arcilla из Yahoo подробно описывает хорошо структурированную и продуманную систему по тестированию облачной инфраструктуры. Обязательно смотреть всем, кому предстоит решать подобную задачу. Из рассказа можно вынести информацию о многих граблях, на которые есть возможность наступить при разработке подобной системы с нуля, пока проект ещё не дорос до соответствующего масштаба.
  • Chris Chen из Salesforce иллюстрирует весьма оригинальный подход к тестированию, архитектура системы и её стабильность позволила реализовать очень надёжную автоматическую систему заведения и верификации ошибок. Очевидно, данный подход не применим к большинству проектов, но знать о подобных решениях всегда полезно. Отдельный интерес представляют рассказанные Крисом Ченом в кулуарах детали о технических аспектах реализации системы. В частности, её реализация заняла десятки человеко-лет, то есть никакой волшебной технологии найти в Salesforce не смогли, при этом для их архитектуры и масштабов любая другая система проверки продукта порождала слишком большие накладные расходы. Осознанное решение о разработке подобной системы и чёткое видение конечного результата на ранних стадиях разработки позволили им достичь успеха.
  • Jerome Mueller из Google рассказал о том, как они используют BDD для кросспроектного тестирования. Рассказ не содержит никаких технических откровений, однако он интересен тем, что разработанный в Google инструмент действительно позволяет эффективно работать с тестами людям, далёким от технической реализации автоматических тестов: мануальщикам и аналитикам. И этот инструмент планируется опубликовать в OpenSource в обозримом будущем, после чего его надо будет непременно изучить.
  • Simon Stewart из Google фактически дал небольшую инструкцию о том, как нужно организационно начинать автоматическое тестирование UI и, в качестве бонуса, подробно рассказал об оптимизации последнего Selenium Grid и об особенностях его применения.
  • Рассказ Ibrahim El-Far из Google о внутренних инструментах тестирования заслуживает пристального внимания, поскольку в нем говорится не столько о конкретных инструментах, сколько о контексте их использования при тестировании больших проектов. В любой компании, создающей масштабные продукты, всегда появляются различные боты и тулы, облегчающие работу тестировщика. Возможно, этот доклад позволит упорядочить имеющийся инструментарий, обдумать какие-либо новые сценарии использования, взглянуть на проект с другой стороны.


Открывающие доклады Alberto Savoia и Tony Voellm не содержат какой-либо технической информации, техник или подходов. Доклад Савойи это программный доклад, посвящённый тому, как в Гугле видят тестирование в ближайшие несколько лет. Доклад очевидно провокационный, тезисы про ключевую роль максимально раннего прототипирования, уменьшение важности контроля качества готового или разрабатываемого кода и спецификаций из за роста краудсорсинга, облачных инструментов тестирования производительности и тестирования на реальных пользователях верны не для всех разработчиков по. Более того, многие сотрудники компаний, производящих облачные сервисы, в беседах отмечали сложности, с которыми они сталкивались на практике при реализации описанных подходов, вплоть до того, что некоторые из подходов при росте масштабов переставали работать в том числе и по экономическим причинам. Тем не менее для ряда компаний описанные проблемы актуальны и закрывать глаза на них нельзя. Доклад Воельма содержит меньше провокационной информации и может быть полезен как краткое описание того, что такое облачный сервис и актуальных сейчас возможностей, которые дают эти сервисы для тестирования.
Отдельно можно отметить доклады, которые мне понравились, однако я не могу дать им корректную оценку, поскольку мои компетенции лежат в других областях:
  • How to hit target in the cloud от Vishal Chowdhary из Microsoft про тестирование облачных систем, который содержал не очень много технической информации, но при этом описывал весьма интересные комплексные подходы к тестированию.
  • Рассказ Яны Марголин и Jason Elbaum о тестировании RightToLeft локализаций web-страниц, в котором разобраны наиболее типичные ошибки, возникающие при создании сайтов с bi-directional контентом.
  • Web Consistency от Kevin Menard из Mogotest про различные подходы к сравнению разных рендеров одних и тех же веб-страниц и наиболее часто возникающие при этом проблемы.
  • Смешной рассказ про уязвимости от Hugh Thompson, малоприменимый с практической точки зрения, но неплохо освещающий социальные аспекты security проблем.
  • Рассказ МакКоннела про то, какой он видит компанию мирового уровня по разработке ПО, несомненно интересный всем поклонникам этого эксперта.
Остальные доклады были менее интересны для меня, но какие-то из них возможно заинтересуют сообщество, все они лежат на youtube и с презентациями доступны на сайте конференции.
Впечатление от мероприятия осталось крайне положительное, участие в конференции позволило узнать и детально рассмотреть разные подходы, применяемые в масштабных успешных проектах, критерии выбора того или иного решения, сильные и слабые стороны. Возможность не просто послушать докладчика, но и задать ему и беседующим с ним специалистам вопрос, в том числе в неформальной обстановке, подробно расспросить их о деталях реализации того или иного аспекта позволяет давать более точные оценки своим планам, взглянуть на используемые методики с другой стороны.
На закрытии была анонсирована тема следующей конференции, VideoStreaming, вести её будет ведущий специалист по тестированию из Youtube. Всем, кто интересуется тестированием подобных сервисов, участие в данном мероприятии будет крайне полезным."

2 комментария:

  1. Спасибо, Саша! Крутой отчет!

    Хорошо будет дополнить пост ссылкой на видео http://www.youtube.com/playlist?list=PLBB2CAFDDBD7B7265&feature=viewall ??

    ОтветитьУдалить
  2. Там есть ссылка на плейлист, над фоткой с Виттакером

    ОтветитьУдалить