التعامل مع اختبار CAPTCHA لجمع بيانات الإحصاءات الرياضية

يكتمل أرشيف موسم رياضي دون انقطاع عندما تجتمع ثلاثة عناصر: جلسة HTTP واحدة ثابتة تحتفظ بملفات تعريف الارتباط، وإيقاع طلبات قريب من سرعة التصفح البشري، وطبقة تُعيد رمز التحقق داخل الجلسة نفسها قبل قراءة الصفحة. غياب أي عنصر منها يحوّل مهمة بسيطة — سحب إحصاءات ثلاثمئة لاعب — إلى سلسلة صفحات Cloudflare Turnstile وأخطاء 403.

البوابات الرياضية ليست معادية للأدوات الآلية؛ هي تحمي أصلاً تجارياً تبيعه بالاشتراك. لذلك يظهر اختبار CAPTCHA أمام الأنماط التي تشبه التصدير بالجملة: عشرات الصفحات في دقيقة، أو تحديث متواصل لصفحة نتائج أثناء مباراة جارية. ما يلي يوضّح أين تظهر هذه الاختبارات، وكيف تُدار برمجياً عبر CaptchaAI، وكيف يُضبط الإيقاع حتى لا تظهر في معظم الوقت.

خريطة اختبارات CAPTCHA على بوابات الإحصاءات الرياضية

لكل نوع بيانات نمط حماية مختلف، ومعرفة النمط مسبقاً توفّر محاولات ضائعة:

الصفوف الثلاثة الأولى تمثّل العمل اليومي لأي فريق بيانات رياضية، وهي التي تستهلك معظم عمليات الحل. أما الأرشيف التاريخي فيُجمع مرة واحدة ثم يُخزَّن محلياً، لأن سجلاته لا تتغيّر.

سيناريو تشغيلي من السوق العربي

تخيّل فريق تحليلات في الرياض أو القاهرة يبني قاعدة بيانات لموسم دوري روشن السعودي والدوري المصري الممتاز: ترتيب الفرق، تشكيلات كل نادٍ، ودقائق لعب كل لاعب عبر ثلاثة مواسم. المسألة هنا توقيتية قبل أن تكون تقنية؛ مباريات المنطقة تتركّز مساءً بعد المغرب وتمتد في رمضان إلى ما بعد منتصف الليل، ومعها ترتفع حركة المرور وترتفع حساسية طبقة الحماية. تشغيل الأرشفة الثقيلة بين الرابعة والثامنة صباحاً يعطي البيانات نفسها بتحديات أقل بكثير.

أما السعة فتُقاس بالتوازي: التسعير في CaptchaAI قائم على عدد الـ threads المتزامنة مع عمليات حل غير محدودة داخل الباقة. جمع ليلي لدوري واحد يعمل ضمن باقة BASIC — $15 شهرياً مع 5 threads — بينما تبدأ متابعة عدة دوريات متزامنة من STANDARD — $30 شهرياً مع 15 thread.

جامع إحصاءات اللاعبين بلغة Python

المنطق تحت الكود بسيط ومتكرر: جلسة requests واحدة تحمل ترويسة User-Agent واقعية، ثم فحص لكل استجابة — هل هي صفحة محتوى أم صفحة تحقق؟ العلامات الموثوقة هي رمز الحالة 403، أو وجود cf-turnstile في مصدر الصفحة، أو استدعاء نطاق تحدي Cloudflare.

عند اكتشاف صفحة تحقق، يُستخرج مفتاح الموقع من السمة data-sitekey ويُرسل إلى in.php بالطريقة turnstile، ثم يبدأ الفحص الدوري على res.php كل ثلاث ثوانٍ. الخطوة الحاسمة هي الأخيرة: الرمز المُستلم يُرسل عبر كائن الجلسة نفسه لا عبر طلب مستقل، وإلا فُقد سياق الجلسة وعادت صفحة التحقق. مسار إنشاء الحساب واستخراج المفتاح موضّح في دليل البدء السريع.

import requests
import time
import re
from dataclasses import dataclass, field

@dataclass
class PlayerStats:
    name: str
    team: str
    position: str
    stats: dict = field(default_factory=dict)
    season: str = ""
    source: str = ""

class SportsDataCollector:
    def __init__(self, api_key):
        self.api_key = api_key
        self.session = requests.Session()
        self.session.headers.update({
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
        })

    def get_player_stats(self, portal_url, player_slug, season=None):
        """Fetch player statistics, solving CAPTCHAs as needed."""
        url = f"{portal_url}/players/{player_slug}"
        if season:
            url += f"/{season}"

        response = self.session.get(url)

        if self._is_captcha_page(response):
            response = self._solve_turnstile_and_retry(response, url)

        return self._parse_player_stats(response.text)

    def get_game_scores(self, portal_url, date):
        """Fetch all game scores for a specific date."""
        url = f"{portal_url}/scores/{date}"
        response = self.session.get(url)

        if self._is_captcha_page(response):
            response = self._solve_turnstile_and_retry(response, url)

        return self._parse_scores(response.text)

    def collect_team_roster(self, portal_url, team_slug, season):
        """Collect stats for all players on a team roster."""
        roster_url = f"{portal_url}/teams/{team_slug}/{season}/roster"
        response = self.session.get(roster_url)

        if self._is_captcha_page(response):
            response = self._solve_turnstile_and_retry(response, roster_url)

        player_slugs = self._extract_player_links(response.text)

        all_stats = []
        for slug in player_slugs:
            try:
                stats = self.get_player_stats(portal_url, slug, season)
                all_stats.append(stats)
                time.sleep(2)  # Respectful delay
            except Exception as e:
                print(f"Failed for {slug}: {e}")

        return all_stats

    def _is_captcha_page(self, response):
        return (
            response.status_code == 403 or
            "cf-turnstile" in response.text or
            "challenges.cloudflare.com" in response.text
        )

    def _solve_turnstile_and_retry(self, response, url):
        match = re.search(r'data-sitekey="(0x[^"]+)"', response.text)
        if not match:
            raise ValueError("Turnstile sitekey not found")

        resp = requests.post("https://ocr.captchaai.com/in.php", data={
            "key": self.api_key,
            "method": "turnstile",
            "sitekey": match.group(1),
            "pageurl": url,
            "json": 1
        })
        task_id = resp.json()["request"]

        for _ in range(60):
            time.sleep(3)
            result = requests.get("https://ocr.captchaai.com/res.php", params={
                "key": self.api_key,
                "action": "get",
                "id": task_id,
                "json": 1
            })
            data = result.json()
            if data["status"] == 1:
                return self.session.post(url, data={
                    "cf-turnstile-response": data["request"]
                })

        raise TimeoutError("Turnstile solve timed out")

    def _parse_player_stats(self, html):
        from bs4 import BeautifulSoup
        soup = BeautifulSoup(html, "html.parser")

        # Extract stat rows from tables
        stats = {}
        stat_table = soup.select_one("table.stats, #stats-table")
        if stat_table:
            headers = [th.text.strip() for th in stat_table.select("thead th")]
            for row in stat_table.select("tbody tr"):
                cells = [td.text.strip() for td in row.select("td")]
                if len(cells) == len(headers):
                    for header, value in zip(headers, cells):
                        stats[header] = value

        def text_or_empty(node):
            return node.text.strip() if node and node.text else ""

        return PlayerStats(
            name=text_or_empty(soup.select_one("h1, .player-name")),
            team=text_or_empty(soup.select_one(".team-name, .team")),
            position=text_or_empty(soup.select_one(".position, .pos")),
            stats=stats
        )

    def _parse_scores(self, html):
        from bs4 import BeautifulSoup
        soup = BeautifulSoup(html, "html.parser")
        games = []

        def text_or_none(node):
            return node.text.strip() if node and node.text else None

        for game in soup.select(".game-card, .scoreboard-item"):
            games.append({
                "away": text_or_none(game.select_one(".away-team")),
                "home": text_or_none(game.select_one(".home-team")),
                "away_score": text_or_none(game.select_one(".away-score")),
                "home_score": text_or_none(game.select_one(".home-score")),
                "status": text_or_none(game.select_one(".game-status"))
            })

        return games

    def _extract_player_links(self, html):
        from bs4 import BeautifulSoup
        soup = BeautifulSoup(html, "html.parser")
        links = []
        for a in soup.select("a[href*='/players/']"):
            slug = a["href"].rstrip("/").split("/")[-1]
            if slug and slug not in links:
                links.append(slug)
        return links


# Usage
collector = SportsDataCollector("YOUR_API_KEY")

# Get player stats
stats = collector.get_player_stats(
    "https://sports.example.com", "lebron-james", "2024"
)
print(f"{stats.name} ({stats.team}): {stats.stats}")

# Get all scores for a date
scores = collector.get_game_scores("https://sports.example.com", "2024-12-25")
for game in scores:
    print(f"{game['away']} {game['away_score']} @ {game['home']} {game['home_score']}")

تجميع بيانات الموسم على مستوى الفرق بـ JavaScript

عندما يكون المطلوب مسحاً أفقياً — كل فرق الدوري في تمريرة واحدة — يصبح عزل الأخطاء أهم من السرعة. النسخة التالية تلفّ كل فريق في try/catch مستقل وتخزّن رسالة الخطأ داخل نتيجة الفريق بدل إسقاط العملية كلها، فتنتهي التمريرة بخريطة واضحة: هذه الفرق اكتملت، وهذه تحتاج إعادة تشغيل. الفاصل الزمني مهم أيضاً؛ ثلاث ثوانٍ بين فريق وآخر تكفي عادةً لإبقاء الإيقاع ضمن ما تتسامح معه البوابة:

class SportsAggregator {
  constructor(apiKey) {
    this.apiKey = apiKey;
  }

  async collectSeasonData(portalUrl, sport, season, teams) {
    const allData = {};

    for (const team of teams) {
      try {
        const roster = await this.getTeamStats(portalUrl, team, season);
        allData[team] = roster;
      } catch (error) {
        allData[team] = { error: error.message };
      }
      // Rate limit between teams
      await new Promise(r => setTimeout(r, 3000));
    }

    return allData;
  }

  async getTeamStats(portalUrl, teamSlug, season) {
    const url = `${portalUrl}/teams/${teamSlug}/${season}`;
    const response = await fetch(url);
    const html = await response.text();

    if (html.includes('cf-turnstile') || response.status === 403) {
      return this.solveAndFetch(url, html);
    }

    return this.parseTeamPage(html);
  }

  async solveAndFetch(url, html) {
    const match = html.match(/data-sitekey="(0x[^"]+)"/);
    if (!match) throw new Error('Turnstile sitekey not found');

    const submitResp = await fetch('https://ocr.captchaai.com/in.php', {
      method: 'POST',
      body: new URLSearchParams({
        key: this.apiKey,
        method: 'turnstile',
        sitekey: match[1],
        pageurl: url,
        json: '1'
      })
    });
    const { request: taskId } = await submitResp.json();

    for (let i = 0; i < 60; i++) {
      await new Promise(r => setTimeout(r, 3000));
      const result = await fetch(
        `https://ocr.captchaai.com/res.php?key=${this.apiKey}&action=get&id=${taskId}&json=1`
      );
      const data = await result.json();
      if (data.status === 1) {
        const response = await fetch(url, {
          method: 'POST',
          body: new URLSearchParams({ 'cf-turnstile-response': data.request })
        });
        return this.parseTeamPage(await response.text());
      }
    }
    throw new Error('Turnstile solve timed out');
  }

  parseTeamPage(html) {
    const players = [];
    const rowMatches = html.matchAll(/<tr[^>]*class="[^"]*player[^"]*"[^>]*>([\s\S]*?)<\/tr>/gi);

    for (const row of rowMatches) {
      const cells = [...row[1].matchAll(/<td[^>]*>([\s\S]*?)<\/td>/gi)]
        .map(m => m[1].replace(/<[^>]+>/g, '').trim());
      if (cells.length >= 3) {
        players.push({
          name: cells[0],
          position: cells[1],
          stats: cells.slice(2)
        });
      }
    }

    return { players, count: players.length };
  }
}

// Usage
const aggregator = new SportsAggregator('YOUR_API_KEY');
const seasonData = await aggregator.collectSeasonData(
  'https://sports.example.com', 'basketball', '2024',
  ['lakers', 'celtics', 'warriors']
);

ضبط إيقاع جمع البيانات الرياضية حسب نوع الرياضة

جدول المباريات نفسه أفضل أداة لتقليل عدد اختبارات CAPTCHA، لأن ذروة الحماية تتبع ذروة الزيارات:

تشخيص الأعطال الشائعة

ما الذي يحلّه CaptchaAI على هذه البوابات فعلياً

قبل بناء المسار، تأكّد أن نوع الحماية على البوابة المستهدفة مغطّى:

• reCAPTCHA v2 والنسخة غير المرئية وv3، بما فيها إصدارات Enterprise.
• Cloudflare Turnstile — عادةً في أقل من 10 ثوانٍ — وCloudflare Challenge في أقل من 15 ثانية، بمعدل نجاح مرتفع على الأنواع المدعومة.
• GeeTest v3 وCAPTCHA الصور وGrid Image وBLS.
• CaptchaFox وFriendly Captcha وLemin — في مرحلة beta فقط.

في المقابل، لا يدعم CaptchaAI حالياً hCaptcha ولا FunCaptcha، بينما GeeTest v4 معلن ضمن ما هو قادم ولم يُطرح بعد. إذا اعتمدت بوابتك على أحد هذه الأنواع، فالمسار الصحيح هو مصدر بديل أو واجهة رسمية، لا افتراض أن الحل الآلي سينجح.

أسئلة شائعة

كم عدد الـ threads الذي يحتاجه أرشيف دوري كامل؟

الـ thread هو عملية حل واحدة قيد التنفيذ في اللحظة نفسها. باقة BASIC — $15 شهرياً مع 5 threads — تكفي لجمع ليلي لدوري واحد، وتبدأ متابعة عدة دوريات متزامنة من STANDARD — $30 شهرياً مع 15 thread. السؤال الصحيح ليس «كم عملية حل شهرياً؟» بل «كم صفحة أفتح في اللحظة نفسها؟».

هل جمع بيانات الإحصاءات الرياضية بهذه الطريقة مسموح به؟

الأمر يعود إلى شروط استخدام البوابة وطبيعة البيانات. الاستخدام السليم يقتصر على بيانات متاحة للعموم من مصادر تسمح بذلك، أو على بوابات تملكها أو لديك تصريح بالوصول إليها، مع احترام ملف robots.txt والحدود المعلنة. حل اختبار CAPTCHA هنا خطوة تقنية داخل سير عمل مصرّح به، لا وسيلة للوصول إلى محتوى لا تملكه.

لماذا يعود الطلب بالخطأ 403 رغم نجاح عملية الحل؟

الرمز مرتبط بالجلسة وبعنوان الصفحة اللذين طُلب من أجلهما، وصلاحيته قصيرة. إذا أُرسل من جلسة أخرى، أو بعد انقضاء صلاحيته، أو إلى رابط يختلف عن pageurl المُرسل في طلب الحل، فسيُرفض. أعد استخدام كائن الجلسة نفسه، وأرسل الرمز فور استلامه، وتأكّد من تطابق pageurl مع الصفحة التي التُقط منها مفتاح الموقع.

ما الفرق بين Cloudflare Turnstile وCloudflare Challenge على المواقع الرياضية؟

Turnstile عنصر تحقق مُضمَّن داخل الصفحة، له data-sitekey يبدأ عادةً بـ 0x، وتُرسل نتيجته في الحقل cf-turnstile-response. أما Cloudflare Challenge فصفحة اعتراضية كاملة تسبق المحتوى وتُدار على مستوى النطاق. لكل منهما طريقة إرسال مختلفة، والتمييز بينهما داخل الكود يمنع إهدار المحاولات.

أدلة ذات صلة

• البدء السريع: أول عملية حل في خمس دقائق
• حلّ Cloudflare Turnstile عبر الـ API
• حلّ reCAPTCHA v2 برمجياً
• التعامل مع GeeTest v3