05. Divisão de Dados: Estratégias Avançadas para Validação Robusta

# Estratificação avançada
    StratifiedKFold: Mantém proporção exata
    StratifiedShuffleSplit: Proporção + aleatoriedade
    RepeatedStratifiedKFold: Múltiplas execuções
    Random split: Pode criar folds sem classe minoritária

# Exemplo de configuração temporal
Train:   [1-100] [1-200] [1-300] [1-400]
Valid:   [101-150] [201-250] [301-350] [401-450]
Test:    [151-200] [251-300] [351-400] [451-500]

# Princípios:
    Treino sempre ANTES da validação
    Gap entre treino e validação (optional)
    Test set sempre no futuro
    Nunca misturar períodos

# ERRADO: Vazamento por preprocessing
scaler.fit(X_all)  # Usa estatísticas do test set!
X_train_scaled = scaler.transform(X_train)
X_test_scaled = scaler.transform(X_test)

# CORRETO: Preprocessing isolado
X_train, X_test = train_test_split(X, y, ...)
scaler.fit(X_train)  # Só estatísticas do treino
X_train_scaled = scaler.transform(X_train)
X_test_scaled = scaler.transform(X_test)

# Verificação de estratificação
def check_stratification(y_train, y_test):
    train_dist = y_train.value_counts(normalize=True)
    test_dist = y_test.value_counts(normalize=True)
    max_diff = (train_dist - test_dist).abs().max()

    if max_diff < 0.02:  # 2% diferença
        return "Excelente estratificação"
    elif max_diff < 0.05:  # 5% diferença
        return "Estratificação aceitável"
    else:
        return "Estratificação inadequada"

from sklearn.model_selection import (
    StratifiedKFold, RepeatedStratifiedKFold,
    TimeSeriesSplit, GroupKFold
)

# Configuração para diferentes cenários
splitters = {
    'classification': RepeatedStratifiedKFold(
        n_splits=5, n_repeats=3, random_state=42
    ),
    'regression': KFold(
        n_splits=5, shuffle=True, random_state=42
    ),
    'time_series': TimeSeriesSplit(
        n_splits=5, test_size=30
    ),
    'groups': GroupKFold(n_splits=5)
}

# Outer loop: Model assessment
# Inner loop: Hyperparameter tuning
outer_cv = StratifiedKFold(n_splits=5, random_state=42)
inner_cv = StratifiedKFold(n_splits=3, random_state=42)

nested_scores = []
for train_idx, test_idx in outer_cv.split(X, y):
    X_train, X_test = X[train_idx], X[test_idx]
    y_train, y_test = y[train_idx], y[test_idx]

    # Inner CV para hyperparameter tuning
    grid_search = GridSearchCV(
        estimator=model, param_grid=params,
        cv=inner_cv, scoring='f1'
    )
    grid_search.fit(X_train, y_train)

    # Avaliar no test fold
    best_model = grid_search.best_estimator_
    score = f1_score(y_test, best_model.predict(X_test))
    nested_scores.append(score)

# Score final não enviesado
final_score = np.mean(nested_scores)

# Dashboard de validação
validation_metrics = {
    'cv_mean': np.mean(cv_scores),
    'cv_std': np.std(cv_scores),
    'cv_min': np.min(cv_scores),
    'cv_max': np.max(cv_scores),
    'stability': np.std(cv_scores) / np.mean(cv_scores),
    'train_test_gap': train_score - test_score
}

# Interpretação
if validation_metrics['stability'] < 0.05:
    print("Modelo estável")
elif validation_metrics['train_test_gap'] > 0.1:
    print("Possível overfitting")

# Dicas específicas
    Sempre usar StratifiedKFold para classes desbalanceadas
    RepeatedStratifiedKFold para datasets pequenos
    GroupKFold quando há grupos naturais (pacientes, regiões)
    Verificar distribuição de classes em cada fold

# Validação temporal robusta
    TimeSeriesSplit com gap temporal
    Rolling window para concept drift
    Múltiplas janelas de validação
    Backtesting com dados históricos

# Validação de clustering
    Bootstrap resampling para estabilidade
    Cross-validation para número K
    Consensus clustering para robustez
    Perturbation analysis para sensibilidade

# Lista de verificação
    Seeds fixas para reprodutibilidade
    Estratificação para classificação
    Pipeline anti-leakage implementado
    Múltiplas métricas monitoradas
    Intervalos de confiança calculados  
    Análise de estabilidade realizada
    Documentação completa da estratégia
    Validação final em holdout set

# Métricas de qualidade
    Distribuições similares (KS-test p > 0.05)
    Classes balanceadas (<2% diferença)
    Sem data leakage detectado
    Performance estável (CV < 5%)
    Resultados reproduziveis
    Generalização comprovada