Где вы можете отправить воспроизведение ошибки test io

Test.IO — площадка для краудсорсингового тестирования.

Для начала нужно зарегистрироваться, указать свои устройства имеющиеся для тестирования и заполнить свой профиль.

Приглашения начали присылать довольно быстро. Приглашения бывают двух типов — проект еще не запущен и есть время на ознакомление с описанием проекта и списком известных проблем или проект уже запущен и можно сразу приступать к тестированию.

Приглашения приходят на емейл. После получения приглашения переходим на сайт и видим описание проекта: разделы приложения, которые нужно тестировать; число созданных проблем по каждому разделу, если проект уже запущен; расценки за найденные дефекты; платформы для тестирования; время начала и окончания проекта; количество известных проблем. А сам список известных проблем не доступен на этапе просмотра описания проекта, поэтому чтобы с ним ознакомиться нужно вначале согласиться на тестирование проекта. Количество участвующих тестировщиков в проекте нигде не указывается, но по ощущениям оно не сильно большое (в пределах 20-30 тестировщиков на проект). В целом конкуренция на проектах чуть выше средней.

После принятия приглашения становится доступным чат, где можно задавать вопросы по проекту и можно ознакомиться со списком известных проблем. TL отвечают в чате зачастую с задержкой. В чате отображается число онлайн участников, которое косвенно может указывать на число тестировщиков в проекте.

На этом этапе уже достаточно информации, чтобы принять решение об участии в тестировании проекта, при этом есть возможность покинуть проект, нажав соответствующую кнопку и кто-то другой сможет впоследствии присоединиться вместо вас.

На площадке есть система рейтинга, где подробно расписано за что начисляются или снимаются очки. Учитываются очки заработанные в течении последних 60 дней.

Много проектов, где нужно искать только критические или серьезные функциональные проблемы, соответственно таких проблем иногда очень мало, в итоге тратится время на их поиск, что может не оправдываться стоимостью проблемы.

Воспроизведение найденных проблем в проекте на других устройствах оплачивается, если исходный дефект выкупается и само воспроизведение принимается. Зачастую, воспроизведения проблем уходят в отказ по не понятным причинам и эти причины невозможно так просто узнать — они не указываются при отказе. Можно уточнить причину отказа в чате, но каждый раз спрашивать не хочется, при этом иногда такие вопросы остаются без ответов. Видимо, площадка считает, что это малоквалифицированная работа и не особо поощряет ее. Из опыта: отказы по восроизведениям проблем могут быть просто ошибочными, после вопроса в чате могут быть приняты.

По окончанию или уже в ходе проекта баги верифицируются TL, принятые баги отправляются заказчику, который принимает финальное решение о судьбе проблемы.

TL очень субъективны — в одном случае они отправляют серьезную проблему в отказ даже не отправив заказчику, чтобы он принял финальное решение, а в другом случае минорную проблему принимают, хотя в описании проекта явно указано, что минорные вне тестирования в этом проекте. Много поспешных отказов от TL, потом приходится вступать в переписку с TL, чтобы узнать почему отказали и оспорить отказ. В итоге получается лотерея, не можешь предсказать, что создавать. TL с неохотой отвечают на ваши комментарии по отказанным проблемам, поэтому лучше их сразу отравлять на ревью. Но и здесь возможны ситуации, что ревьюверы реальные проблемы отправят в повторный отказ не особо вникая в суть и разбираясь. В итоге нет ощущения, что все работают на результат для заказчика. А есть стойкое ощущение, что много необоснованных отказов на площадке для реальных проблем.

Заказчик также может отказать в проблеме, например, если она ему уже известна, но при этом в списке известных проблем на площадке она не была указана. Может отказать с формулировкой — по предоставленному описанию проблемы нет возможности ее воспроизвести и это не смотря на то, что TL и другие тестировщики могли успешно воспроизвести эту проблему. Правда, и TL с такой же формулировкой отправляют проблемы в отказ не смотря на ее воспроизведение другими тестировщиками. Все такие отказы нужно отправлять на ревью в надежде, что все же примут, и проблема будет оплачена.

Поэтому кючевой проблемой площадки является: слишком много отказов на всех этапах проверки багов. Приходится тратить много времени на осппаривание отказов, что не всегда приводит к принятию проблемы.

Если ваш дефект отправлен в отказ, то есть возможность отправить дефект на ревью, где его проверят и вынесут окончательное решение об его судьбе. Но, внимание, если на ревью отправили за месяц больше четырех проблем, то нужно чтобы процент принятых дефектов был больше 60, иначе весь следующий месяц вы не имеете права отправлять проблемы на ревью. Читаем — все ваши отказы с причиной «не могу воспроизвести» не будут оплачены. Не говоря уже о других отказах.

Доступные методы оплаты: PayPal, Skrill and the Bank Account (for US only).

Например, при оплате на счет PayPal взимается комиссия: с €230 комиссия около €10.

В целом не плохая площадка. Далее краткие итоги.

Плюсы:
— Довольно подробная информация о приглашенном тестируемом проекте.
— Есть чат, где можно задавать вопросы по проекту.
— Платят за воспроизведение проблем на других устройствах.
— Видно количество известных проблем до момента принятия приглашения для тестирования.
— Много разных проектов в разных стадиях тестирования.

Минусы:
— Много отказов на всех этапах проверки багов. Много тратится времени на оспаривание отказов. Психологически очень неприятно работать в такой обстановке.
— Общее довольно плохое отношение к работе тестировщиков со стороны TL: необоснованные и/или поспешные отказы, частое занижение критичности проблем.
— Заказчик может злоупотреблять отказами с формулировкой: проблема уже ему известна или по предоставленному описанию проблемы нет возможности ее воспроизвести.
— Система ревью далека от нормальной. Можно запросто быть заблокированным на весь месяц — считай работаешь бесплатно, в случае отказов, что описаны выше.
— Много отказов по воспроизведениям проблем, причины которых не представляется возможным узнать.
— Много проектов, где нужно искать только критические или серьезные функциональные проблемы.
— Количество тестировщиков в проекте не указывается.
— Нет возможности выводить деньги на Payoneer.

Скриншоты

Видеообзор

Теги

Заработок на тестировании сайтов и приложений

Сайты, похожие на Test.IO

  Пришло время рассказать как собственно происходит процесс тестирования на ресурсе Test.io. После регистрации и прохождения тестирования Как оно было, вам на почту начинают приходит приглашения на платные тест циклы. Эти же циклы в которых вы можете принять участие видны на «dashboard» в вашем аккаунте. Нажимаете на цикл, читаете овервью, если интересно жмете да я тестирую. После этого приходит письмо, что ваше предложение принято и т.д. Приглашение обычно приходит за час до начала цикла. Я обычно бегло читаю овервью, принимаю приглашение и потом уже не спеша вчитываюсь и разбираюсь. Почему так? Потому, что циклы бывают разные — некоторые разбираются моментом, в некоторых есть свободные места даже через 5-6 часов после начала. На что, я обращаю внимание.

1. Язык. Из проектов которые видел были на чешском, французском, немецком, голландском, японском ну и естественно на английском. С английским все понятно надо брать. Остальные языки -думаю, иногда беру, иногда нет.

2. Известные баги. Тут необходимо понимать, что проект с 90 известными багами будет сложно удивить, чем то новым.

3. Запрошенные девайсы. Днем я могу тестить только на ноуте. Все мобильные циклы только дома. У меня в наличии iphone 4s, iPad air, iphone 5s. Под большинство циклов с iOs в овервью они подходят.

4. Оплата, пункт по важности для меня никакой (на данном этапе), я начинающий тестировщик, поэтому берусь за все. Но посмотреть то интересно сколько заплатят))

5. Ну и соответственно что тестируем. Приложение или сайт или игра. Какие разделы тестим и в каком объеме.

Как только цикл начинается вам дают тестовую ссылку, реквизиты для доступа, либо прокси данные.

Когда я начинал искал по название тест цикла, что будем тестировать, заранее заходил на сайт и пытался искать ошибки, но быстро бросил эту затею. Т.к. тестовый сайт чаще всего совсем другой, новая версия и в общем доступе его нет, да и смысла смотреть старый нет никакого.

 Как только цикл начался, можно репортить баги. Баги появляются в баг листе со скоростью света. Это похоже не спринт. На старт, внимание, фас. И сайт(или приложение) за час, два разбирают на тряпки))) Тут важна скорость. быстро, быстро нашел баг, еще быстрее записал видео я пользую «скринкаст о матик». И еще быстрее написал баг репорт с описанием всех шагов. Нажал кнопку подтвердить, и на всякий случай глянул в баг лист снова, не редка ситуация, пока ты пишешь репорт, баг уже подтвержден другим пользователем и у тебя соответственно дубликат. Приходиться удалять, либо можно подождать пока удалит ТТЛ.

Когда уже не могу ничего найти, занимаюсь воспроизведением чужих багов. Стоит такое воспроизведение около 10% от стоимость бага. Но может быть реджектнуто вместе с багом. И соответственно не оплачено.Деньги не большие, но тут более важен опыт, читаешь чужие описания, думаешь как бы написал сам. Короче развиваешься.

Циклы приходят как то очень кучно, день ничего нет, потом вечером в течении часа 3 приглашения. А мы же помним, что у нас спринт. В одном стартанул, в двух других соответственно уже плетешься в конце колонны тестеров.

Поставил для себя цель в цикле не менее 5 багов+репродукций. Больше можно, меньше нет.

Тест кейсы не встречались пока. Поэтому про них ничего не могу сказать.

Через некоторое время, после подтверждения мной бага начинается обратная связь от ТТЛ. Бывает три основных вида

1.Реджект (с разными основаниями)

2. Запрос (добавь видео получше, как часто воспроизводится, поправь описание ну и вообще с любым вопросом ТТЛ-а)

В этом случае отвечаешь и ждешь дальше.

3. Аццепт (т.е. принят, все супер баг прошел)

После реджекта возможен еще бонусный платеж , например баг завернул клиент типа он известен, но листа известных багов не было, и еще в нескольких случаях.

Реджект влияет отрицательно на рейтинг, бонусный платеж положительно на кошелек и никак на рейтинг.

Обратная связь бывает быстрая, практически мгновенная и очень медленная. Оно и понятно везде люди.

На почту приходит письмо, что есть баг с открытым запросом, разберись, чё за на.)))

После того как цикл закончился. Проходит некоторое время (у меня максиму был 2 недели минимум 2 дня) и цикл получает значение Финал. Мне на почту приходит сообщение, что цикл мой готов ты заработал столько то.