مقابله با ربات‌ها بدون قطع API

چرا چالش ضدربات API و درگاه پرداخت را قطع می‌کند و چطور فقط سایت اصلی را چالش کنید، خودکار یا دستی.

چالش ضدربات CDN (چالش کوکی، چالش جاوااسکریپت، کپچا) فقط برای مرورگر ساخته شده است: مرورگر چالش را حل می‌کند و کاربر چیزی نمی‌بیند. ولی خیلی از درخواست‌های یک سایت از مرورگر نمی‌آیند، یا از مرورگری می‌آیند که فرصت حل چالش را ندارد:

درخواست‌های API که صفحه‌های سایت با fetch یا XHR می‌فرستند، به‌خصوص روی زیردامنه‌ای مثل api.example.com
اپ موبایل و هر برنامه‌ای که مستقیم با API کار می‌کند
وب‌هوک‌ها: درخواست‌هایی که سرویس‌های دیگر به سایت شما می‌فرستند
بازگشت از درگاه پرداخت و تأیید تراکنش از سمت بانک
سرویس‌های پایش، ربات‌های پیام‌رسان و هر ارتباط سرور به سرور

اگر چالش به این‌ها برسد، به جای جواب درست یک صفحه‌ی چالش می‌گیرند و قطع می‌شوند. کاربر واقعی هم اثرش را می‌بیند: دکمه‌ها کار نمی‌کنند، ورود انجام نمی‌شود یا پرداخت ناتمام می‌ماند.

قاعده‌ی درست#

چالش را فقط جایی بگذارید که آدم با مرورگر صفحه باز می‌کند:

فقط دامنه‌ی اصلی و www؛ همه‌ی زیردامنه‌های دیگر (api، app، admin و هر زیردامنه‌ای که بعداً اضافه شود) آزاد بمانند.
فقط درخواست‌هایی که صفحه‌ی HTML می‌خواهند؛ درخواست‌های API روی خود دامنه‌ی اصلی (مثل /api/ یا /wp-json/) آزاد بمانند.
مسیر بازگشت درگاه پرداخت و وب‌هوک‌ها همیشه آزاد بمانند.
ربات‌های شناخته‌شده‌ی موتور جست‌وجو (گوگل و…) چالش نبینند تا رتبه‌ی سایت آسیب نبیند.

کاری که wardex خودکار انجام می‌دهد#

از محافظت ← قوانین ← مقابله با ربات‌ها روشنش کنید. wardex به جای تنظیم سراسری، یک قانون محدود به میزبان می‌سازد:

	کلادفلر	ابر آروان
چه چیزی ساخته می‌شود	قانون سفارشی (Custom rule)	قانون فایروال
روی چه چیزی چالش می‌گذارد	فقط صفحه‌های دامنه‌ی اصلی و www	فقط دامنه‌ی اصلی و www
زیردامنه‌ها	همه آزاد، حتی آن‌هایی که بعداً اضافه شوند	همه آزاد، حتی آن‌هایی که بعداً اضافه شوند
API روی دامنه‌ی اصلی	مسیرهای `/api/` و `/wp-json/` و هر درخواست غیر از باز کردن صفحه آزاد	مسیرهای `/api` و `/wp-json` آزاد
ربات‌های موتور جست‌وجو	آزاد	آزاد
حالت آزمایشی	ندارد (چالش مدیریت‌شده)	چالش نامرئی کوکی؛ در اجرای کامل چالش جاوااسکریپت

پیش از روشن شدن قانون، wardex زیردامنه‌هایی را که پشت CDN هستند از DNS می‌خواند و نشان می‌دهد کدام چالش می‌بینند و کدام آزاد می‌مانند. تا تأیید نکنید، قانون روشن نمی‌شود.

قانون قدیمی روی آروان؟ نسخه‌های قبلی wardex روی آروان حالت محافظت DDoS کل دامنه را عوض می‌کردند. اگر چنین قانونی دارید، در صفحه‌ی قوانین هشدار قرمز می‌بینید. آن را بردارید (حالت DDoS به حالت قبل برمی‌گردد) و دوباره روشن کنید تا به شکل جدید و محدود ساخته شود.

API روی خود دامنه‌ی اصلی دارید؟ اگر مسیر بازگشت درگاه پرداخت یا وب‌هوکی روی دامنه‌ی اصلی دارید که با /api شروع نمی‌شود (مثلاً /payment/callback)، بعد از روشن کردن قانون، آن را طبق روش دستی پایین به استثناهای همان قانون اضافه کنید.

روشن کردن دستی#

wardex همین قانون را خودکار می‌سازد. اگر می‌خواهید دستی بسازید یا قانون wardex را برای مسیرهای خودتان تغییر دهید، روش الف را دنبال کنید؛ زیردامنه‌هایی که بعداً اضافه می‌کنید خودبه‌خود آزاد می‌مانند.

روش الف: قانون فایروال فقط برای دامنه‌ی اصلی (پیشنهادی)

۱
فایروال دامنه را باز کنید
در پنل ابر آروان دامنه را انتخاب کنید و به بخش فایروال بروید. حالت محافظت DDoS را خاموش بگذارید.
۲
قانون تازه با عبارت آماده
یک قانون تازه بسازید و در بخش عبارت (Expression) این را بگذارید؛ example.com را با دامنه‌ی خودتان عوض کنید:
text
```
http.host in {"example.com" "www.example.com"}
and not (http.request.uri.path starts with "/api")
and not (http.request.uri.path starts with "/wp-json")
and not (http.user_agent contains "Googlebot")
and not (http.user_agent contains "bingbot")
```
برای هر مسیر دیگری که باید آزاد بماند (مثلاً بازگشت درگاه پرداخت)، یک خط and not (http.request.uri.path starts with "/payment") اضافه کنید.
۳
عمل قانون
عمل را چالش بگذارید. از کوکی شروع کنید (کاربر چیزی نمی‌بیند). اگر کافی نبود، جاوااسکریپت.

روش ب: حالت محافظت DDoS با استثنای زیردامنه‌ها

۱
استثناها را اول بسازید
در بخش جلوگیری از حملات DDoS، در قوانین خاص، برای هر زیردامنه یک قانون بسازید که آدرسش را به شکل Glob بگیرد، مثلاً api.example.com/*، برای همه‌ی IPها، و چالش را برایش غیرفعال کند. همین کار را برای مسیرهای API و پرداخت روی دامنه‌ی اصلی هم بکنید، مثلاً example.com/api/*.
۲
بعد حالت محافظت را روشن کنید
فقط وقتی همه‌ی استثناها ساخته شدند، حالت محافظت را روی کوکی بگذارید.
۳
زیردامنه‌ی تازه = استثنای تازه
در این روش، هر زیردامنه‌ای که بعداً پشت CDN اضافه می‌کنید چالش می‌بیند تا برایش استثنا بسازید. این را در فهرست کارهای افزودن زیردامنه بگذارید.

نام دقیق گزینه‌ها در پنل آروان ممکن است با نسخه‌ی پنل فرق کند؛ راهنمای به‌روز را در مستندات ابر آروان ببینید.

wardex همین کار را خودکار انجام می‌دهد. اگر می‌خواهید دستی بسازید:

۱
Bot Fight Mode را خاموش بگذارید
در Security → Bots، Bot Fight Mode را خاموش کنید. این گزینه روی کل دامنه اعمال می‌شود و در پلن رایگان نمی‌شود برایش استثنا گذاشت.
۲
قانون سفارشی بسازید
به Security → WAF → Custom rules بروید، Create rule را بزنید و Edit expression را باز کنید.
۳
عبارت قانون
این عبارت را بگذارید و example.com را با دامنه‌ی خودتان عوض کنید:
text
```
(http.host in {"example.com" "www.example.com"})
and (http.request.method eq "GET")
and (any(http.request.headers["accept"][*] contains "text/html"))
and (not starts_with(http.request.uri.path, "/api/"))
and (not starts_with(http.request.uri.path, "/wp-json/"))
and (not cf.client.bot)
```
اگر مسیر بازگشت درگاه پرداخت یا وب‌هوکی روی دامنه‌ی اصلی دارید، آن را هم با and (not starts_with(http.request.uri.path, "/مسیر/")) اضافه کنید.
۴
عمل قانون
Action را روی Managed Challenge بگذارید و با Deploy ذخیره کنید.

بعد از روشن کردن، امتحان کنید#

۱
API را مستقیم صدا بزنید
از یک ترمینال، یکی از آدرس‌های API را بدون مرورگر صدا بزنید:
خط فرمان
```
curl -s -o /dev/null -w "%{http_code}\n" https://api.example.com/health
```
باید همان کدی را بگیرید که قبل از روشن کردن قانون می‌گرفتید (مثلاً 200 یا 401). اگر 403، 503 یا ریدایرکت 307 گرفتید و جواب HTML بود، چالش به API رسیده است.
۲
سایت را در مرورگر امتحان کنید
سایت را باز کنید، وارد شوید و یک کار کامل انجام دهید. در تب Network ابزار توسعه‌ی مرورگر، درخواست‌های API نباید جواب HTML یا کد 403 بگیرند.
۳
پرداخت و اپ موبایل
اگر درگاه پرداخت یا اپ موبایل دارید، یک تراکنش آزمایشی و یک ورود از اپ انجام دهید.

پاسخ سؤالتان را پیدا نکردید؟ تیم پشتیبانی wardex در ساعات کاری کمکتان می‌کند.تماس با پشتیبانی

قاعده‌ی درست#

چالش را فقط جایی بگذارید که آدم با مرورگر صفحه باز می‌کند:

فقط دامنه‌ی اصلی و www؛ همه‌ی زیردامنه‌های دیگر (api، app، admin و هر زیردامنه‌ای که بعداً اضافه شود) آزاد بمانند.

فقط درخواست‌هایی که صفحه‌ی HTML می‌خواهند؛ درخواست‌های API روی خود دامنه‌ی اصلی (مثل /api/ یا /wp-json/) آزاد بمانند.

مسیر بازگشت درگاه پرداخت و وب‌هوک‌ها همیشه آزاد بمانند.

ربات‌های شناخته‌شده‌ی موتور جست‌وجو (گوگل و…) چالش نبینند تا رتبه‌ی سایت آسیب نبیند.

کاری که wardex خودکار انجام می‌دهد#

	کلادفلر	ابر آروان
چه چیزی ساخته می‌شود	قانون سفارشی (Custom rule)	قانون فایروال
روی چه چیزی چالش می‌گذارد	فقط صفحه‌های دامنه‌ی اصلی و www	فقط دامنه‌ی اصلی و www
زیردامنه‌ها	همه آزاد، حتی آن‌هایی که بعداً اضافه شوند	همه آزاد، حتی آن‌هایی که بعداً اضافه شوند
API روی دامنه‌ی اصلی	مسیرهای `/api/` و `/wp-json/` و هر درخواست غیر از باز کردن صفحه آزاد	مسیرهای `/api` و `/wp-json` آزاد
ربات‌های موتور جست‌وجو	آزاد	آزاد
حالت آزمایشی	ندارد (چالش مدیریت‌شده)	چالش نامرئی کوکی؛ در اجرای کامل چالش جاوااسکریپت

روشن کردن دستی#

روش الف: قانون فایروال فقط برای دامنه‌ی اصلی (پیشنهادی)

۱
فایروال دامنه را باز کنید
در پنل ابر آروان دامنه را انتخاب کنید و به بخش فایروال بروید. حالت محافظت DDoS را خاموش بگذارید.
۲
قانون تازه با عبارت آماده
یک قانون تازه بسازید و در بخش عبارت (Expression) این را بگذارید؛ example.com را با دامنه‌ی خودتان عوض کنید:
text
```
http.host in {"example.com" "www.example.com"}
and not (http.request.uri.path starts with "/api")
and not (http.request.uri.path starts with "/wp-json")
and not (http.user_agent contains "Googlebot")
and not (http.user_agent contains "bingbot")
```
برای هر مسیر دیگری که باید آزاد بماند (مثلاً بازگشت درگاه پرداخت)، یک خط and not (http.request.uri.path starts with "/payment") اضافه کنید.
۳
عمل قانون
عمل را چالش بگذارید. از کوکی شروع کنید (کاربر چیزی نمی‌بیند). اگر کافی نبود، جاوااسکریپت.

روش ب: حالت محافظت DDoS با استثنای زیردامنه‌ها

۱
استثناها را اول بسازید
در بخش جلوگیری از حملات DDoS، در قوانین خاص، برای هر زیردامنه یک قانون بسازید که آدرسش را به شکل Glob بگیرد، مثلاً api.example.com/*، برای همه‌ی IPها، و چالش را برایش غیرفعال کند. همین کار را برای مسیرهای API و پرداخت روی دامنه‌ی اصلی هم بکنید، مثلاً example.com/api/*.
۲
بعد حالت محافظت را روشن کنید
فقط وقتی همه‌ی استثناها ساخته شدند، حالت محافظت را روی کوکی بگذارید.
۳
زیردامنه‌ی تازه = استثنای تازه
در این روش، هر زیردامنه‌ای که بعداً پشت CDN اضافه می‌کنید چالش می‌بیند تا برایش استثنا بسازید. این را در فهرست کارهای افزودن زیردامنه بگذارید.

نام دقیق گزینه‌ها در پنل آروان ممکن است با نسخه‌ی پنل فرق کند؛ راهنمای به‌روز را در مستندات ابر آروان ببینید.

wardex همین کار را خودکار انجام می‌دهد. اگر می‌خواهید دستی بسازید:

۱
Bot Fight Mode را خاموش بگذارید
در Security → Bots، Bot Fight Mode را خاموش کنید. این گزینه روی کل دامنه اعمال می‌شود و در پلن رایگان نمی‌شود برایش استثنا گذاشت.
۲
قانون سفارشی بسازید
به Security → WAF → Custom rules بروید، Create rule را بزنید و Edit expression را باز کنید.
۳
عبارت قانون
این عبارت را بگذارید و example.com را با دامنه‌ی خودتان عوض کنید:
text
```
(http.host in {"example.com" "www.example.com"})
and (http.request.method eq "GET")
and (any(http.request.headers["accept"][*] contains "text/html"))
and (not starts_with(http.request.uri.path, "/api/"))
and (not starts_with(http.request.uri.path, "/wp-json/"))
and (not cf.client.bot)
```
اگر مسیر بازگشت درگاه پرداخت یا وب‌هوکی روی دامنه‌ی اصلی دارید، آن را هم با and (not starts_with(http.request.uri.path, "/مسیر/")) اضافه کنید.
۴
عمل قانون
Action را روی Managed Challenge بگذارید و با Deploy ذخیره کنید.

بعد از روشن کردن، امتحان کنید#

API را مستقیم صدا بزنید

از یک ترمینال، یکی از آدرس‌های API را بدون مرورگر صدا بزنید:

خط فرمان

curl -s -o /dev/null -w "%{http_code}\n" https://api.example.com/health

باید همان کدی را بگیرید که قبل از روشن کردن قانون می‌گرفتید (مثلاً 200 یا 401). اگر 403، 503 یا ریدایرکت 307 گرفتید و جواب HTML بود، چالش به API رسیده است.

سایت را در مرورگر امتحان کنید

سایت را باز کنید، وارد شوید و یک کار کامل انجام دهید. در تب Network ابزار توسعه‌ی مرورگر، درخواست‌های API نباید جواب HTML یا کد 403 بگیرند.

پرداخت و اپ موبایل

اگر درگاه پرداخت یا اپ موبایل دارید، یک تراکنش آزمایشی و یک ورود از اپ انجام دهید.