Update app.py

app.py

@@ -6,224 +6,387 @@ import plotly.graph_objects as go
 import requests
 import os
 from datetime import datetime, timedelta
-
+from functools import lru_cache
+import time
+ 
 # =========================================================
 # 0. CONFIGURAÇÕES
 # =========================================================
 GITHUB_OWNER = "joao862"
 GITHUB_REPO = "ascendum-dashboard"
 WORKFLOW_FILE = "atualizar_dados.yml"
-
+DATA_FILE = "dados_vendas.csv"
+ 
+# Cache global para evitar recarregar dados constantemente
+_cache = {"data": None, "timestamp": 0, "ttl": 30}  # TTL de 30 segundos
+ 
 # =========================================================
-# 1. GITHUB TRIGGER
+# 1. GITHUB TRIGGER (CORRIGIDO)
 # =========================================================
 def trigger_update_on_github():
+    """Aciona workflow do GitHub para atualizar dados"""
     token = os.getenv("GH_PAT")
     if not token:
         return "⚠️ Erro: Secret 'GH_PAT' em falta."
-
+ 
     url = f"https://api.github.com/repos/{GITHUB_OWNER}/{GITHUB_REPO}/actions/workflows/{WORKFLOW_FILE}/dispatches"
-    # SINAL + REMOVIDO ABAIXO (era application/vnd.github.v3+json)
-    headers = {"Authorization": f"Bearer {token}", "Accept": "application/vnd.github.v3json"}
-
+    # CORRIGIDO: Adicionado o + que estava em falta
+    headers = {
+        "Authorization": f"Bearer {token}",
+        "Accept": "application/vnd.github.v3+json"
+    }
+ 
     try:
-        requests.post(url, json={"ref": "main"}, headers=headers)
-        return "✅ GitHub acionado! Aguarde 2 min."
+        response = requests.post(url, json={"ref": "main"}, headers=headers, timeout=10)
+        if response.status_code == 204:
+            return "✅ GitHub acionado! Aguarde 2-3 min para atualização."
+        else:
+            return f"⚠️ Resposta inesperada: {response.status_code}"
+    except requests.Timeout:
+        return "⏱️ Timeout: GitHub pode estar lento. Tente novamente."
     except Exception as e:
         return f"❌ Erro: {str(e)}"
-
+ 
 # =========================================================
-# 2. CARREGAMENTO DE DADOS (CORRIGIDO PARA LATIN-1)
+# 2. CARREGAMENTO DE DADOS (COM CACHE)
 # =========================================================
-def load_data():
-    file_path = "dados_vendas.csv"
-    if not os.path.exists(file_path):
+def load_data(force_reload=False):
+    """
+    Carrega dados do CSV com cache inteligente.
+ 
+    Args:
+        force_reload: Forçar recarregar mesmo com cache válido
+    """
+    global _cache
+ 
+    # Verificar cache
+    now = time.time()
+    if not force_reload and _cache["data"] is not None:
+        if now - _cache["timestamp"] < _cache["ttl"]:
+            return _cache["data"]
+ 
+    # Verificar se ficheiro existe
+    if not os.path.exists(DATA_FILE):
+        print(f"⚠️ Ficheiro {DATA_FILE} não encontrado.")
         return pd.DataFrame()
-
+ 
     try:
-        # CORREÇÃO CRÍTICA PARA O ERRO 0xed:
-        # encoding='latin-1': Resolve o problema dos acentos portugueses antigos
-        # skiprows=2: Ignora as linhas de cabeçalho do Motordata
-        df = pd.read_csv(file_path, sep=';', skiprows=2, on_bad_lines='skip', encoding='latin-1', engine='python')
+        # Ler CSV com encoding correto
+        df = pd.read_csv(
+            DATA_FILE,
+            sep=';',
+            skiprows=2,
+            on_bad_lines='skip',
+            encoding='latin-1',
+            engine='python'
+        )
     except Exception as e:
-        print(f"Erro a ler CSV: {e}")
+        print(f"❌ Erro a ler CSV: {e}")
         return pd.DataFrame()
-
+ 
     # --- LIMPEZA DE COLUNAS ---
     df.columns = df.columns.str.strip()
-
-    # Função para limpar o lixo do Excel (="valor")
+ 
+    # Função para limpar formatação Excel (="valor")
     def clean(val):
+        if pd.isna(val):
+            return ""
         return str(val).replace('="', '').replace('"', '').strip()
-
-    # Identificar colunas chave
-    col_tipo = next((c for c in df.columns if 'tipo' in c.lower()), 'Tipo')
-    col_kw = next((c for c in df.columns if 'potencia' in c.lower() and 'kw' in c.lower()), 'Potencia kW')
-    col_marca = next((c for c in df.columns if 'marca' in c.lower()), 'Marca')
+ 
+    # Identificar colunas chave (busca flexível)
+    col_tipo = next((c for c in df.columns if 'tipo' in c.lower()), None)
+    col_kw = next((c for c in df.columns if 'potencia' in c.lower() and 'kw' in c.lower()), None)
+    col_marca = next((c for c in df.columns if 'marca' in c.lower()), None)
     col_data = next((c for c in df.columns if 'datamatricula' in c.lower() and 'emissao' in c.lower()), None)
-    col_regiao = next((c for c in df.columns if 'dire' in c.lower() or 'distrito' in c.lower() or 'regi' in c.lower()), 'Direção Regional IMT')
-
-    if col_tipo not in df.columns:
+    col_regiao = next((c for c in df.columns if 'dire' in c.lower() or 'distrito' in c.lower() or 'regi' in c.lower()), None)
+ 
+    # Validações críticas
+    if not col_tipo or col_tipo not in df.columns:
+        print("⚠️ Coluna 'Tipo' não encontrada.")
         return pd.DataFrame()
-
-    # Aplicar Limpezas
+ 
+    if not col_data:
+        print("⚠️ Coluna de data não encontrada.")
+        return pd.DataFrame()
+ 
+    # Aplicar limpezas
     df['Tipo_Clean'] = df[col_tipo].apply(clean).str.upper()
-
-    # Filtro: Apenas o que diz explicitamente "AGRICOLA"
+ 
+    # Filtro: Apenas AGRICOLA
     df = df[df['Tipo_Clean'] == 'AGRICOLA'].copy()
-
+ 
+    if df.empty:
+        print("⚠️ Nenhum registo AGRICOLA encontrado após filtro.")
+        return pd.DataFrame()
+ 
     # Tratar Datas
-    if col_data:
-        df['Data_dt'] = pd.to_datetime(df[col_data].apply(clean), errors='coerce')
-        df = df.dropna(subset=['Data_dt'])
+    df['Data_dt'] = pd.to_datetime(df[col_data].apply(clean), errors='coerce')
+    df = df.dropna(subset=['Data_dt'])
+ 
+    # Tratar Potência
+    if col_kw:
+        df["Potencia kW"] = pd.to_numeric(df[col_kw].apply(clean), errors='coerce').fillna(0)
     else:
-        return pd.DataFrame()
-
-    # Tratar Potência, Marca e Região
-    df["Potencia kW"] = pd.to_numeric(df[col_kw].apply(clean), errors='coerce').fillna(0)
-    df['Marca'] = df[col_marca].apply(clean).str.upper()
-    df['Regiao'] = df[col_regiao].apply(clean).str.title()
-
-    # Segmentos
+        df["Potencia kW"] = 0
+ 
+    # Tratar Marca
+    if col_marca:
+        df['Marca'] = df[col_marca].apply(clean).str.upper()
+    else:
+        df['Marca'] = 'DESCONHECIDA'
+ 
+    # Tratar Região
+    if col_regiao:
+        df['Regiao'] = df[col_regiao].apply(clean).str.title()
+    else:
+        df['Regiao'] = 'Sem Região'
+ 
+    # Segmentos de Potência
     bins = [0, 25, 50, 100, 500]
     labels = ['< 25 kW', '25 - 50 kW', '50 - 100 kW', '> 100 kW']
     df['Cluster Potencia'] = pd.cut(df['Potencia kW'], bins=bins, labels=labels).astype(str)
-
+ 
+    # Atualizar cache
+    _cache["data"] = df
+    _cache["timestamp"] = now
+ 
+    print(f"✅ Dados carregados: {len(df)} registos")
     return df
-
+ 
 # =========================================================
-# 3. LÓGICA DASHBOARD
+# 3. LÓGICA DASHBOARD (MELHORADA)
 # =========================================================
 def update_dashboard(period_option, val_min, val_max, selected_regions):
+    """Atualiza todos os componentes do dashboard"""
+ 
+    # Validação de sliders
+    if val_min > val_max:
+        val_min, val_max = val_max, val_min  # Swap automático
+ 
     df = load_data()
-
+ 
+    # Se não há dados, retornar estado vazio
     if df.empty:
-        return "0", "0", "0", None, None, None, pd.DataFrame(), gr.update(), gr.update(), gr.update()
-
+        empty_fig = go.Figure().add_annotation(text="Sem dados disponíveis", showarrow=False)
+        return (
+            "0", "0", "0",
+            empty_fig, empty_fig, empty_fig,
+            pd.DataFrame(),
+            gr.update(minimum=0, maximum=500, value=0),
+            gr.update(minimum=0, maximum=500, value=500),
+            gr.update(choices=[])
+        )
+ 
     # Limites Globais
-    new_min = int(df["Potencia kW"].min())
-    new_max = int(df["Potencia kW"].max())
+    new_min = max(0, int(df["Potencia kW"].min()))
+    new_max = min(500, int(df["Potencia kW"].max()))
     all_regs = sorted(df["Regiao"].unique().tolist())
-
+ 
+    # Se nenhuma região selecionada, usar todas
     if not selected_regions:
         selected_regions = all_regs
-
+ 
     # Filtros de Data
     today = pd.Timestamp.now().normalize()
     if period_option == "YTD (Ano Atual)":
-        start, end = pd.Timestamp(today.year, 1, 1), today
+        start = pd.Timestamp(today.year, 1, 1)
+        end = today
     elif period_option == "Último Mês (30 dias)":
-        start, end = today - timedelta(days=30), today
+        start = today - timedelta(days=30)
+        end = today
     elif period_option == "Últimos 15 Dias":
-        start, end = today - timedelta(days=15), today
-    else:
-        start, end = pd.Timestamp(today.year, 1, 1), today
-
-    start_h, end_h = start - pd.DateOffset(years=1), end - pd.DateOffset(years=1)
-
+        start = today - timedelta(days=15)
+        end = today
+    else:  # Fallback
+        start = pd.Timestamp(today.year, 1, 1)
+        end = today
+ 
+    # Período homólogo (ano anterior)
+    start_h = start - pd.DateOffset(years=1)
+    end_h = end - pd.DateOffset(years=1)
+ 
     # Filtragem
-    mask = (df["Potencia kW"] >= val_min) & (df["Potencia kW"] <= val_max) & (df["Regiao"].isin(selected_regions))
+    mask = (
+        (df["Potencia kW"] >= val_min) &
+        (df["Potencia kW"] <= val_max) &
+        (df["Regiao"].isin(selected_regions))
+    )
     df_curr = df[mask & (df["Data_dt"] >= start) & (df["Data_dt"] <= end)]
     df_prev = df[mask & (df["Data_dt"] >= start_h) & (df["Data_dt"] <= end_h)]
-
+ 
     # KPIs
     def calc_stats(d_now, d_old, marca=None):
-        curr = len(d_now[d_now['Marca']==marca]) if marca else len(d_now)
-        prev = len(d_old[d_old['Marca']==marca]) if marca else len(d_old)
-
-        delta = ((curr - prev) / prev * 100) if prev > 0 else (100 if curr > 0 else 0)
-        sym = "▲" if delta > 0 else "▼"
-        if delta == 0: sym = "="
-
+        """Calcula estatísticas com variação vs período homólogo"""
+        curr = len(d_now[d_now['Marca'] == marca]) if marca else len(d_now)
+        prev = len(d_old[d_old['Marca'] == marca]) if marca else len(d_old)
+ 
+        if prev > 0:
+            delta = ((curr - prev) / prev * 100)
+        else:
+            delta = 100 if curr > 0 else 0
+ 
+        sym = "▲" if delta > 0 else "▼" if delta < 0 else "="
         return f"{curr} ({sym}{abs(delta):.0f}%)"
-
+ 
     def calc_share(d_now, marca):
-        curr = len(d_now[d_now['Marca']==marca])
+        """Calcula quota de mercado"""
+        curr = len(d_now[d_now['Marca'] == marca])
         total = len(d_now)
-        share = (curr/total*100) if total > 0 else 0
+        share = (curr / total * 100) if total > 0 else 0
         return f"{share:.1f}%"
-
+ 
     txt_total = calc_stats(df_curr, df_prev)
     txt_valtra = f"{calc_share(df_curr, 'VALTRA')} | {calc_stats(df_curr, df_prev, 'VALTRA')}"
     txt_kioti = f"{calc_share(df_curr, 'KIOTI')} | {calc_stats(df_curr, df_prev, 'KIOTI')}"
-
+ 
     # Gráficos
-    fig_rank, fig_pie, fig_seg = None, None, None
-
+    fig_rank = go.Figure().add_annotation(text="Sem dados", showarrow=False)
+    fig_pie = go.Figure().add_annotation(text="Sem dados", showarrow=False)
+    fig_seg = go.Figure().add_annotation(text="Sem dados", showarrow=False)
+ 
     if not df_curr.empty:
-        # Ranking
+        # 1. Ranking Top 10
         top = df_curr['Marca'].value_counts().head(10).reset_index()
         top.columns = ['Marca', 'Vendas']
-        colors = ['#d62728' if m=='VALTRA' else '#ff7f0e' if m=='KIOTI' else '#cccccc' for m in top['Marca']]
-        fig_rank = go.Figure(go.Bar(x=top['Marca'], y=top['Vendas'], marker_color=colors, text=top['Vendas']))
-        fig_rank.update_layout(title="Ranking de Vendas", margin=dict(l=10, r=10, t=30, b=10))
-
-        # Pie Chart
+        colors = [
+            '#d62728' if m == 'VALTRA' else
+            '#ff7f0e' if m == 'KIOTI' else
+            '#1f77b4'
+            for m in top['Marca']
+        ]
+        fig_rank = go.Figure(go.Bar(
+            x=top['Marca'],
+            y=top['Vendas'],
+            marker_color=colors,
+            text=top['Vendas'],
+            textposition='outside'
+        ))
+        fig_rank.update_layout(
+            title="📊 Ranking de Vendas (Top 10)",
+            xaxis_title="Marca",
+            yaxis_title="Nº Vendas",
+            margin=dict(l=10, r=10, t=40, b=10),
+            showlegend=False
+        )
+ 
+        # 2. Pie Chart - Distribuição por Potência
         pie_d = df_curr['Cluster Potencia'].value_counts().reset_index()
         pie_d.columns = ['Cluster', 'Count']
-        fig_pie = px.pie(pie_d, values='Count', names='Cluster', title="Potência", hole=0.4)
-        fig_pie.update_layout(margin=dict(l=10, r=10, t=30, b=10))
-
-        # Segmento
+        fig_pie = px.pie(
+            pie_d,
+            values='Count',
+            names='Cluster',
+            title="⚡ Distribuição por Potência",
+            hole=0.4
+        )
+        fig_pie.update_layout(margin=dict(l=10, r=10, t=40, b=10))
+ 
+        # 3. Comparação Valtra vs Kioti
         seg = df_curr[df_curr['Marca'].isin(['VALTRA', 'KIOTI'])]
         if not seg.empty:
-            fig_seg = px.histogram(seg, x="Cluster Potencia", color="Marca", barmode="group",
-                                   color_discrete_map={'VALTRA': '#d62728', 'KIOTI': '#ff7f0e'},
-                                   title="Valtra vs Kioti")
-            fig_seg.update_layout(margin=dict(l=10, r=10, t=30, b=10))
+            fig_seg = px.histogram(
+                seg,
+                x="Cluster Potencia",
+                color="Marca",
+                barmode="group",
+                color_discrete_map={'VALTRA': '#d62728', 'KIOTI': '#ff7f0e'},
+                title="🆚 Valtra vs Kioti por Segmento"
+            )
+            fig_seg.update_layout(
+                xaxis_title="Segmento de Potência",
+                yaxis_title="Nº Vendas",
+                margin=dict(l=10, r=10, t=40, b=10)
+            )
         else:
-            fig_seg = go.Figure().add_annotation(text="Sem dados Valtra/Kioti", showarrow=False)
-
+            fig_seg = go.Figure().add_annotation(
+                text="Sem dados Valtra/Kioti no período selecionado",
+                showarrow=False
+            )
+ 
     # Tabela Final
     df_show = df_curr[['Data_dt', 'Marca', 'Tipo_Clean', 'Potencia kW', 'Regiao']].copy()
     if not df_show.empty:
         df_show['Data_dt'] = df_show['Data_dt'].dt.strftime('%d-%m-%Y')
-
-    # CRITICAL FIX: Update sliders with value that's within new range
-    return txt_total, txt_valtra, txt_kioti, fig_rank, fig_pie, fig_seg, df_show, \
-           gr.update(minimum=new_min, maximum=new_max, value=new_min), \
-           gr.update(minimum=new_min, maximum=new_max, value=new_max), \
-           gr.update(choices=all_regs)
-
+        df_show = df_show.sort_values('Data_dt', ascending=False)  # Mais recentes primeiro
+ 
+    # Retornar com sliders ajustados
+    return (
+        txt_total, txt_valtra, txt_kioti,
+        fig_rank, fig_pie, fig_seg,
+        df_show,
+        gr.update(minimum=new_min, maximum=new_max, value=max(new_min, val_min)),
+        gr.update(minimum=new_min, maximum=new_max, value=min(new_max, val_max)),
+        gr.update(choices=all_regs, value=selected_regions)  # Preservar seleção
+    )
+ 
 # =========================================================
-# 4. INTERFACE
+# 4. INTERFACE (MELHORADA)
 # =========================================================
-with gr.Blocks(title="Dashboard", theme=gr.themes.Soft()) as demo:
-    gr.Markdown("# 🚜 Dashboard: Valtra & KIOTI")
-
+with gr.Blocks(title="Dashboard Valtra & Kioti", theme=gr.themes.Soft()) as demo:
+    gr.Markdown("""
+    # 🚜 Dashboard de Vendas: Valtra & KIOTI
+    **Análise de matrículas de tratores agrícolas em Portugal**
+    """)
+ 
     with gr.Row():
         with gr.Column(scale=1):
-            btn_git = gr.Button("🔄 Atualizar (GitHub)", variant="stop")
-            status = gr.Text(label="Status")
-
-            periodo = gr.Radio(["YTD (Ano Atual)", "Último Mês (30 dias)", "Últimos 15 Dias"], value="YTD (Ano Atual)", label="Período")
-
-            s_min = gr.Slider(0, 500, value=0, step=1, label="Min kW")
-            s_max = gr.Slider(0, 500, value=500, step=1, label="Max kW")
-            regioes = gr.CheckboxGroup(choices=[], label="Regiões")
-
+            gr.Markdown("### ⚙️ Controlos")
+ 
+            btn_git = gr.Button("🔄 Atualizar Dados (GitHub)", variant="secondary", size="sm")
+            status = gr.Textbox(label="Status", interactive=False, lines=2)
+ 
+            gr.Markdown("---")
+ 
+            periodo = gr.Radio(
+                ["YTD (Ano Atual)", "Último Mês (30 dias)", "Últimos 15 Dias"],
+                value="YTD (Ano Atual)",
+                label="📅 Período"
+            )
+ 
+            gr.Markdown("**Filtro de Potência (kW)**")
+            s_min = gr.Slider(0, 500, value=0, step=1, label="Mínimo")
+            s_max = gr.Slider(0, 500, value=500, step=1, label="Máximo")
+ 
+            regioes = gr.CheckboxGroup(choices=[], label="🗺️ Regiões", value=[])
+ 
             btn_run = gr.Button("🔍 Aplicar Filtros", variant="primary")
-
+ 
         with gr.Column(scale=3):
+            gr.Markdown("### 📈 Indicadores Chave")
             with gr.Row():
-                k1, k2, k3 = gr.Text(label="Total"), gr.Text(label="Valtra"), gr.Text(label="Kioti")
-            g1 = gr.Plot()
+                k1 = gr.Textbox(label="📊 Total Mercado", interactive=False)
+                k2 = gr.Textbox(label="🔴 Valtra (Quota | Vendas)", interactive=False)
+                k3 = gr.Textbox(label="🟠 Kioti (Quota | Vendas)", interactive=False)
+ 
+            gr.Markdown("### 📊 Análises")
+            g1 = gr.Plot(label="Ranking")
+ 
             with gr.Row():
-                g2 = gr.Plot()
-                g3 = gr.Plot()
-
-    with gr.Accordion("Dados", open=False):
-        tabela = gr.Dataframe()
-
+                g2 = gr.Plot(label="Distribuição")
+                g3 = gr.Plot(label="Comparação")
+ 
+    with gr.Accordion("📋 Dados Detalhados", open=False):
+        tabela = gr.Dataframe(
+            headers=["Data", "Marca", "Tipo", "Potência kW", "Região"],
+            interactive=False
+        )
+ 
+    # --- EVENTOS ---
     btn_git.click(trigger_update_on_github, outputs=status)
-
+ 
     io_dash = [periodo, s_min, s_max, regioes]
     out_dash = [k1, k2, k3, g1, g2, g3, tabela, s_min, s_max, regioes]
-
-    btn_run.click(update_dashboard, io_dash, out_dash)
-    periodo.change(update_dashboard, io_dash, out_dash)
-
-    demo.load(update_dashboard, io_dash, out_dash)
-
+ 
+    btn_run.click(update_dashboard, inputs=io_dash, outputs=out_dash)
+    periodo.change(update_dashboard, inputs=io_dash, outputs=out_dash)
+ 
+    # Carregamento inicial
+    demo.load(update_dashboard, inputs=io_dash, outputs=out_dash)
+ 
 if __name__ == "__main__":
-    demo.launch()
+    demo.launch(
+        server_name="0.0.0.0",
+        server_port=7860,
+        share=False,
+        show_error=True
+    )