Ошибка ваш ip изменился мы отправили ссылку для подтверждения входа на ваш email

На днях выяснился один неприятный момент — перестали доходить письма на сервера gmail (любые домены, которые используют гугловский сервис для обработки почты). Если кто не в курсе, можно перенести свою корпоративную почту на Google или Яндекс и использовать их сервис со своим доменным именем.

Так вот, посмотрев логи своего сервера Postfix, обнаружил там записи следующего вида:

Aug 27 00:03:47 mail postfix/smtp[26704]: C2FC95EE902C: to=, relay=alt2.aspmx.l.google.com[74.125.195.26]:25, delay=285073, delays=285067/0.02/2.8/2.8, dsn=4.7.1, status=SOFTBOUNCE (host alt2.aspmx.l.google.com[74.125.195.26] said: 550-5.7.1 [XX.XX.XX.XX] The IP you're using to send mail is not authorized to 550-5.7.1 send email directly to our servers. Please use the SMTP relay at your 550-5.7.1 service provider instead. Learn more at 550 5.7.1 https://support.google.com/mail/?p=NotAuthorizedError u1-v6si389534pgl.669 - gsmtp (in reply to end of DATA command))

Приведу более развёрнутый и понятный (по мнению гугла) ответ с их сайта:

Всё бы ничего, вот только с настройкой самого почтового сервера и DNS серверов всё в порядке — MX, A-записи и даже PTR (обратная зона) прописаны у провайдера, так что проблема не в кривых настройках. Причём до большинства других почтовых серверов, всё со свистом доходит. Почему до большинства, а не для всех? А вот тут мы подбираемся к корню проблемы…

Дело в том, что интернет-провайдеры, как правило, не заботятся о том чтобы вычищать свои подсети (и выделяемые вам статические адреса) из всевозможных спамерских баз и чёрных списков. Такое может произойти даже если на выделенном вам IP-адресе с роду не водились почтовые сервера, просто заблокирована вся подсеть провайдера. Так что, лишний раз подумайте о запуске собственного почтового сервера, потому как именно вам предстоит пройти долгий и нудный процесс пока сможете «обелить» выделенный айпишник.

Так вот, отказ Gmail принимать письма, если IP-адрес отправителя не совпадает с его доменом, как оказалось является не единственным условием. Можно долго и упорно выискивать ошибки у себя в настройках, хотя проблема будет в другом. Google отказывается от любых писем, отправленных с IP-адресов из базы данных spamhaus (ссылка на ветку обсуждения). Перейдя на http://www.spamhaus.org/lookup/ можно удалить ip-адрес вашего сервера из базы данных spamhaus.

Пока разбирался с данной темой наткнулся на один ресурс где можно проверить айпишник сразу по множеству спамлистов http://multirbl.valli.org.

Первые три строки FCrDNS Test для нормально настроенного почтовика ОБЯЗАТЕЛЬНО должны быть зелененькими «ОК». А дальше как пойдёт… возможно узнаете много интересного о себе.

Если ваши пользователи перенаправляют почту на Gmail, то они вероятно перенаправляют и спам. Gmail не волнует, что почта была перенаправлена. Их системы видят, что ваш сервер присылает спам, и заносят его в чёрный список.

Проблемы с чёрным списком Gmail? Вы пришли по адресу.

Используя описанный ниже процесс, мы успешно разрешили почти все случаи включения в чёрный список Gmail, с которыми сталкивались.

Процесс удаления из чёрного списка Gmail

Если вы примените этот подход, то сможете тоже удалить свой IP из чёрного списка Gmail.

Мы рассмотрим:

• Критерии внесения в чёрный список Gmail
• Почему меня внесли в чёрный список?
• Наш процесс расследования
• Ошибки Gmail SMTP
• Инструкции по удалению из чёрного списка Gmail
• Получение помощи

Если не знаете, как читать почтовые логи, проверять DNS или служебные заголовки писем, эта статья не для вас. Отправьте её своему хостинг-провайдеру или сисадмину, чтобы они решили проблему.

Не забудьте посмотреть наши инструкции по удалению из чёрных списков других почтовых провайдеров. Если вас блокирует Gmail, то другие тоже могут.

Критерии внесения в чёрный список Gmail

Gmail не разглашает подробности своего процесса фильтрации. Если бы они сделали это, то спамеры быстро нашли бы способ обойти фильтры.

Но мы узнали некоторые типичные причины, по которым Gmail может отвергать почту с вашего сервера.

Самые типичные причины следующие:

• Рассылка большого количества писем.
• Внезапные изменения в объёме рассылаемых писем.
• Отправка письма на адрес «спамовой ловушки».
• Отправка писем неизвестным пользователям.
• Включение IP-адреса сервера в публичный блеклист
• Пользователи Gmail пометили ваши письма как спам.
• Использование нового IP-адреса при отправке писем.
• Некорректные настройки DNS.

Если ваш сервер делает что-нибудь из перечисленного, то вы как будто рассылаете спам. В результате Gmail может заблокировать IP-адреса вашего сервера.

Исследование ReturnPath, наш собственный опыт и мнения других экспертов по доставке писем указывают на то, что Google может использовать сигналы от этих публичных чёрных списков:

• pbl.spamhaus.org — чёрный список содержит диапазоны динамических и не серверных IP. Попасть сюда серверу трудно.
• sbl.spamhaus.org — чёрный список содержит письма, которые Spamhaus пометил как спам.
• xbl.spamhaus.org — чёрный список содержит ботов и эксплойт-агентов.
• cbl.abuseat.org — чёрный список содержит письма, отправленные в спам-ловушки или которые пользователи пометили как спам.

Можете использовать поиск Multi-RBL для проверки этих и других списков. Включение в эти списки — явный индикатор, что на вашем сервере какая-то проблема со спамом.

Почему меня внесли в чёрный список Gmail?

Когда я разбираюсь с сервером, который внесён в чёрный список Gmail, то обычно нахожу одну из следующих трёх причин:

• Спамеры эксплуатируют веб-приложение (>90%).
• Скомпрометированный пароль или компьютер клиента (~5%).
• Неправильные практики использования электронной почты, такие как слепое перенаправление почты на Gmail (~5%).

Более чем в 90% случаев хакеры используют незащищённые веб-приложения для рассылки спама.

В таких случаях объём спама, жалобы пользователей или другие причины приводят к срабатыванию фильтров чёрного списка Gmail. Они начинают блокировать ваш сервер, чтобы защитить своих пользователей от спама. Мы видели, как спамеры рассылают спам через SSH-туннели.

Даже в отсутствие проблем с безопасностью ваш сервер всё равно может выглядеть как спамерская система.

Если вы перенаправляете почту со своего сервера на Gmail, а там присутствует спам, то выглядит так, словно сервер рассылает спам. В результате Gmail может заблокировать ваш сервер.

Если хотите решить проблему и выйти из чёрного списка, то нужно покопаться в сервере и понять, в чём проблема. Если вы не сделаете этого, все усилия будут бесполезными.

Наш процесс расследования чёрного списка Gmail

Вот процесс, который мы используем в нашем платном сервисе по удалению из чёрного списка Gmail:

• Проверьте серверные логи на предмет ошибок 500.
• Проверьте почтовые логи на предмет блокировки другими почтовыми провайдерами и публичными чёрными списками.
• Поищите Excessive SMTP Authentications, особенно от перемены IP для одного и того же пользователя.
• Если у вас есть скрипты PHP, то сконфигурируйте PHP для для журналирования вызовов mail с помощью mail.log ini.
• Проверьте свой IP любимым инструментов для проверки IP в чёрных списках.
• Проверьте репутацию своего почтового сервера на SenderScore.org.
• Проверьте, что пользователи не перенаправляют массово почту на Gmail и родственные домены.
• Проверьте наличие любых новостных рассылок или списков рассылки, которые рассылаются с сервера.
• Убедитесь в корректности записей, связанных с DNS (PTR, DKIM, SPF).
• Посмотрите старые логи и сравните, вырос ли объём писем.

Этот процесс может занять время, особенно на нагруженном сервере. Рекомендую начать с проверки компрометации пользователей. Хотя такие случаи встречаются относительно нечасто, но их гораздо легче выявить, чем проблемы с веб-приложением.

Например, на конфигурациях Plesk/Postfix можно соединить вместе команды шелла таким образом:

grep sasl_username /var/log/maillog|awk {'print $NF'} |sort |uniq -c |sort -n

Такая строка сразу вернёт список тех, кто проходил аутентификацию, по имени пользователя. Если видите большое количество аутентификаций, то этого пользователя можно изучить подробнее.

Похожие команды подходят для извлечения любой полезной статистики об использовании почтового сервера.

Изучая историю почтового сервера, обращайте внимание на следующее:

• Новые ошибки 500 и 421 от других почтовых провайдеров
• Внесение IP в публичные чёрные списки
• Изменения в коде отклика чёрного списка Gmail
• Ваш SenderScore

Обычно такое расследование выявляет скомпрометированный веб-скрипт или пароль пользователя. Ситуацию можно исправить, если изменить или удалить скрипт или просто изменить пользовательский пароль.

Когда вы устранили корневую причину проблемы, начните отслеживать объём почты с сервера и коды отклика от Gmail. Если вас не удалят из чёрного списка, то можно отправить запрос в Google.

В большинстве ситуаций, с которыми мы сталкивались, такой запрос никогда не приходилось отправлять. Исправление корневой причины и проблем с DNS обычно приводит к исключению из чёрного списка в течение 3-5 дней.

Ошибки Gmail SMTP

Чёрные списки блокируют вашу почту, и она не попадает в папку «Спам» (см. нашу статью о том, почему почта попадает в папку «Спам»).

Если вы в чёрном списке, почтовый провайдер будет давать отлупы SMTP с кодом 421 или 550.

Их можно обнаружить в журнале сервера:

Пример ошибки 550
Remote_host_said:_550-5.7.1 Our_system_has_detected_an_unusual_rate_of
unsolicited_mail_originating_from_your_IP_address.
_To_protect_our users_from_spam,_mail_sent_from_your_IP_address_has_been_blocked.
Please_visit_http://www.google.com/mail/help/bulk_mail.html
_to_review_our_Bulk_Email_Senders_Guidelines

Пример ошибки 421
421-4.7.0 unsolicited mail originating from your IP address.
To protect ourn421-4.7.0users from spam, mail sent from your IP address has been temporarilyn4
21-4.7.0 rate limited. Please visit http://www.google.com/mail/help/bulk_mail.n421 4.7.0 html
to review our Bulk Email Senders Guidelines. l41si55243084eef.158 - gsmtp

Если видите какую-то из этих ошибок, то вы попали в чёрный список и нужно оттуда выбираться.

Ниже полный список кодов ошибок Gmail.

Коды ошибок Gmail SMTP

Please resend your message at a later time. If the user is able to receive mail at that time, your message will be delivered. Try again later.

To protect our users from spam, mail sent from your IP address has been temporarily blocked. Review our Bulk Email Senders Guidelines. This error occurs if the sender account is disabled or not registered within your Google Apps domain. To protect our users from spam, mail sent from your IP address has been blocked.

Попробуйте ограничить в письмах использование ссылок, необычных символов и не рассылать сообщения только с картинками. Это обычные спамерские тактики. Если вы ведёте себя как спамер, то Gmail может посчитать вас таковым.

Инструкции по удалению из чёрного списка Gmail

Перед отправкой запроса в Gmail следует прекратить поведение, которое похоже на спамерское. Если вы этого не сделали, ваши усилия и время будут потрачены зря.

Если вы остановили поток спама со своего сервера, Gmail обычно автоматически разблокирует ваш IP в течение 3-5 дней.

Если нет, то может понадобиться связаться с ними для помощи.

В таком случае используйте эту форму для связи. Не забудьте сначала войти в свой аккаунт Gmail/Google перед отправкой формы.

Инструкции по заполнению формы для удаления из чёрного списка Gmail

Настоятельно рекомендую заполнить все поля, хоть они и не обязательны. В ваших интересах дать сотрудникам группы удаления из чёрного списка Gmail настолько полную информацию, насколько это возможно, и показать, что вы не являетесь спамером.

Краткое описание

Будьте точны и лаконичны. Например, я обычно использую такой текст:

На сервере было скомпрометировано веб-приложение, которое отправляло спам на Gmail. Мы удалили это приложение с сервера. После удаления приложения мы больше не видим, чтобы неавторизованная почта отправлялась на Gmail.

Полные заголовки

Убедитесь, что заголовки приведены полностью и в текстовом формате. Нужен только один пример. В целом, я пытаюсь найти упрощённый пример. Такое сообщение, которое направляется напрямую с вашего сервера на Gmail. Если сообщение прошло через сторонние серверы, заголовки могут быть скрыты.

Используйте текстовый файл (.txt), если возможно. Избегайте специфических форматов Windows и Mac.

Журналы сервера

Скопируйте только необходимую часть серверного журнала. Всего двух-трёх записей будет достаточно. Они должны выглядеть как примеры ошибок 550 и 421, приведённые выше.

Поиск MX

Хотя это необязательное поле, но это ключевой показатель, что DNS на вашем сервере работает. Успешный результат будет похож на это:

<br data-mce-bogus="1">
[jeffh@office ~]$ host -t mx gmail.com
gmail.com mail is handled by 40 alt4.gmail-smtp-in.l.google.com.
gmail.com mail is handled by 5 gmail-smtp-in.l.google.com.
gmail.com mail is handled by 10 alt1.gmail-smtp-in.l.google.com.
gmail.com mail is handled by 20 alt2.gmail-smtp-in.l.google.com.
gmail.com mail is handled by 30 alt3.gmail-smtp-in.l.google.com.

Подключение по Telnet

Сделайте тест с проблемного сервера, используя одну из записей, полученную при поиске DNS выше. Успешный результат будет похож на это:

<br data-mce-bogus="1">
[jeffh@office ~]$ telnet alt4.gmail-smtp-in.l.google.com 25
Trying 2800:3f0:4003:c01::1a...
Connected to alt4.gmail-smtp-in.l.google.com.
Escape character is '^]'.
220 mx.google.com ESMTP c68si3349613vkd.85 - gsmtp

Запрос ping

Пример теста ping. Обратите внимание, что если ваши файрволы блокируют трафик ICMP, то тест может не пройти. Тогда просто не включайте результат в заявку.

<br data-mce-bogus="1">
[jeffh@office ~]$ ping -c5 alt4.gmail-smtp-in.l.google.com
PING alt4.gmail-smtp-in.l.google.com (64.233.190.26) 56(84) bytes of data.
64 bytes from ce-in-f26.1e100.net (64.233.190.26): icmp_seq=1 ttl=43 time=169 ms
64 bytes from ce-in-f26.1e100.net (64.233.190.26): icmp_seq=2 ttl=43 time=169 ms
64 bytes from ce-in-f26.1e100.net (64.233.190.26): icmp_seq=3 ttl=43 time=169 ms
64 bytes from ce-in-f26.1e100.net (64.233.190.26): icmp_seq=4 ttl=43 time=169 ms
64 bytes from ce-in-f26.1e100.net (64.233.190.26): icmp_seq=5 ttl=43 time=169 ms
--- alt4.gmail-smtp-in.l.google.com ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4175ms
rtt min/avg/max/mdev = 169.448/169.487/169.600/0.523 ms

Дополнительная информация

Это поле не ограничено по размеру, но будьте лаконичны. Я обычно перечисляю здесь какие-то необычные проблемы или указываю, что клиент раньше отправлял заявку на удаление из чёрного списка, но не почистил сервер перед этим.

Отправить форму

После заполнения всех полей можно отправить форму. Вы должны увидеть следующее:

Обычно обновление происходит в течение пяти рабочих дней.

Имейте в виду, что по-лёгкому всё решить не получится. Если вы сразу поспешите на страницу формы для удаления из чёрного списка, не почистив сервер, скорее всего, вас снова внесут в список.

В июле 2015 года Google запустил Gmail Postmaster Tools. Они похожи на инструменты веб-мастера, но только для электронной почты. Если вы управляете электронной почтой для своего домена или клиентов, то может захотите зарегистрироваться.

Получение помощи

Используя такой процесс мы решили все* проблемы с внесением в чёрный список Gmail, с которыми сталкивались.

*На самом деле было несколько случаев, когда проблему не удалось решить. Проблема? Клиент вёл платный список рассылки без подтверждения адресов электронной почты. Если вы действуете как спамер, то Gmail будет считать вас спамером и внесёт в чёрный список.