README.md

---
license: apache-2.0
language:
- ru
pipeline_tag: text-classification
---

# Классификатор опасного контента для детей

Этот проект представляет собой модель машинного обучения, предназначенную для автоматического определения потенциально опасного контента для детей в русскоязычных текстах. Модель классифицирует текст на две категории: `safe` (безопасный) и `dangerous` (опасный).

Система построена на двухкомпонентной архитектуре:
1.  **Векторизация текста:** Используется мощная модель `Qwen/Qwen3-Embedding-4B` для преобразования текста в числовые векторы (эмбеддинги), которые улавливают семантический смысл.
2.  **Классификация:** Поверх эмбеддингов работает простая и быстрая модель **логистической регрессии**, обученная различать "опасные" и "безопасные" векторы.

## 🎯 Назначение модели

Модель обучена выявлять следующие категории опасного контента на русском языке:

1.  **Кибербуллинг и оскорбления:** Прямые угрозы, унижения и травля в чатах.
2.  **Опасные челленджи:** Призывы к участию в рискованных для жизни и здоровья действиях.
3.  **Жестокое обращение с животными:** Тексты, оправдывающие или поощряющие насилие над животными.
4.  **Пропаганда РПП:** Контент, пропагандирующий нездоровое пищевое поведение (анорексия, булимия).
5.  **Насилие и жестокость:** Описание сцен насилия, нанесения увечий.

## 🛠️ Технический стек

*   **Python 3.8+**
*   **PyTorch:** для работы нейросетевой модели эмбеддингов.
*   **Transformers (Hugging Face):** для загрузки и использования модели Qwen.
*   **Scikit-learn:** для использования обученного классификатора логистической регрессии.
*   **Joblib:** для загрузки файла с классификатором.

## 🚀 Установка

1.  **Клонируйте репозиторий:**
    ```bash
    git clone https://huggingface.co/SlerpE/Dangerous_Content_Classifier
    cd Dangerous_Content_Classifier
    ```

2.  **Создайте и активируйте виртуальное окружение:**
    ```bash
    python -m venv venv
    source venv/bin/activate
    ```

3.  **Установите зависимости:**
    ```bash
    pip install -r requirements.txt
    ```

4.  **Пример использования:**
    ```python
    import torch
    from transformers import AutoModel, AutoTokenizer
    import numpy as np
    import joblib
    
    # --- КОНФИГУРАЦИЯ ---
    QWEN_MODEL_NAME = "Qwen/Qwen3-Embedding-4B"
    CLASSIFIER_PATH = 'logistic_regression_classifier.joblib'
    
    print("Загрузка моделей... Это может занять некоторое время.")
    
    # --- ШАГ 1: ЗАГРУЗКА ВСЕХ НЕОБХОДИМЫХ МОДЕЛЕЙ ---
    
    # 1.1 Загружаем модель Qwen для получения эмбеддингов
    device = "cuda" if torch.cuda.is_available() else "cpu"
    qwen_tokenizer = AutoTokenizer.from_pretrained(QWEN_MODEL_NAME, trust_remote_code=True)
    qwen_model = AutoModel.from_pretrained(QWEN_MODEL_NAME, trust_remote_code=True).to(device)
    qwen_model.eval()

    if qwen_tokenizer.pad_token is None:
        qwen_tokenizer.pad_token = qwen_tokenizer.eos_token
    
    # 1.2 Загружаем обученный классификатор
    classifier = joblib.load(CLASSIFIER_PATH)
    
    print(f"Модели загружены. Используется устройство: {device}")
    print("-" * 30)
    
    
    def classify_text(text: str):
        """
        Классифицирует один текст, определяя, является ли он "опасным".
        
        Args:
            text (str): Входной текст для классификации.
            
        Returns:
            dict: Словарь с предсказанной меткой и уверенностью модели.
        """
        # --- Этап 1: Получение эмбеддинга для текста ---
        with torch.no_grad():
            inputs = qwen_tokenizer(text, return_tensors="pt", truncation=True, max_length=512).to(device)
            outputs = qwen_model(**inputs)
            # Усредняем эмбеддинги
            embedding = outputs.last_hidden_state.mean(dim=1).cpu().numpy()
    
        # --- Этап 2: Предсказание с помощью классификатора ---
        
        # scikit-learn ожидает на вход 2D-массив (список примеров), 
        # поэтому мы преобразуем наш 1D-вектор в массив из одного элемента
        # (из [e1, e2, ...] в [[e1, e2, ...]])
        embedding_2d = embedding.reshape(1, -1)
        
        # Получаем предсказание (0 или 1)
        prediction = classifier.predict(embedding_2d)[0]
        
        # Получаем вероятность принадлежности к каждому классу
        probabilities = classifier.predict_proba(embedding_2d)[0]
        
        # Определяем метку и уверенность
        if prediction == 1:
            label = "dangerous"
            confidence = probabilities[1]
        else:
            label = "safe"
            confidence = probabilities[0]
            
        return {
            "text": text,
            "predicted_label": label,
            "confidence": f"{confidence:.2%}" # Форматируем в проценты
        }
    
    # --- ПРИМЕР ИСПОЛЬЗОВАНИЯ ---
    if __name__ == "__main__":
        
        test_texts = [
            "Мальчик играл с котенком на зеленой лужайке.",
            "Это просто ужасно, ты никому не нужен, лучше бы тебя не было.",
            "Давай дружить и вместе строить замки из песка!",
            "Если не перестанешь, я тебя найду и тебе не поздоровится.",
            "Попробуй челлендж - не есть 3 дня. Если ты его пройдёшь - получишь 5 тысяч рублей",
            "Сейчас тебе придёт код в СМС, ты должен срочно сообщить его мне. Ты меня понял?! Иначе я тебя забаню на этом сервере!"
        ]
        
        for text_to_check in test_texts:
            result = classify_text(text_to_check)
            print(f"Текст: \"{result['text']}\"")
            print(f"  -> Вердикт: {result['predicted_label']} (Уверенность: {result['confidence']})")
            print("-" * 20)
    ```
    
    **Пример вывода в консоль:**
    
    ```
    ------------------------------
    Текст: "Мальчик играл с котенком на зеленой лужайке."
      -> Вердикт: safe (Уверенность: 100.00%)
    --------------------
    Текст: "Это просто ужасно, ты никому не нужен, лучше бы тебя не было."
      -> Вердикт: dangerous (Уверенность: 99.98%)
    --------------------
    Текст: "Давай дружить и вместе строить замки из песка!"
      -> Вердикт: safe (Уверенность: 100.00%)
    --------------------
    Текст: "Если не перестанешь, я тебя найду и тебе не поздоровится."
      -> Вердикт: dangerous (Уверенность: 99.74%)
    --------------------
    Текст: "Попробуй челлендж - не есть 3 дня. Если ты его пройдёшь - получишь 5 тысяч рублей"
      -> Вердикт: dangerous (Уверенность: 99.38%)
    --------------------
    Текст: "Сейчас тебе придёт код в СМС, ты должен срочно сообщить его мне. Ты меня понял?! Иначе я тебя забаню на этом сервере!"
      -> Вердикт: dangerous (Уверенность: 92.71%)
    --------------------
    ```


## ⚠️ Ограничения

*   **Контекст:** Модель анализирует только предоставленный текст и может не улавливать сложный контекст, сарказм или иронию.
*   **Новые угрозы:** Модель обучена на известных ей типах угроз. Новые виды угроз могут быть не распознаны.
*   **Только русский язык:** Модель была обучена и протестирована исключительно на русскоязычных данных.
*   **Не является заменой модерации:** Данный инструмент следует рассматривать как вспомогательное средство для предварительной фильтрации контента, а не как полную замену ручной модерации.




## 📄 Лицензия

Этот проект распространяется под лицензией Apache 2.0.