import { email } from "https://esm.town/v/std/email"; import { fetch } from "https://esm.town/v/std/fetch"; import { parseXML } from "https://esm.town/v/stevekrouse/parseXML"; let { parse } = await import("npm:node-html-parser"); import { GoogleGenerativeAI, SchemaType } from "https://esm.sh/@google/generative-ai"; import { blob } from "https://esm.town/v/std/blob"; async function fetchNews() { function since(days) { const day = new Date(); day.setDate(day.getDate() - days); day.setHours(0, 0, 0, 0); return day; } const sources = [ "https://www.vision360.bo/rss/seguridad/", "https://www.vision360.bo/rss/economia", "https://www.vision360.bo/rss/politica", "https://www.notiboliviarural.com/index.php/agroindustria?format=feed&type=rss", "https://www.opinion.com.bo/rss/cochabamba/", "https://laprensa.bo/taxonomy/term/12/feed", "https://www.economy.com.bo/rss/economia/", "https://laprensa.bo/taxonomy/term/11/feed", "https://elmundo.com.bo/category/comunidad/feed/", "https://www.eldiario.net/portal/category/economia/feed/", ]; const sinceDay = since(1); let data = []; for (const source of sources) { const sourceData = await fetchSource(source, sinceDay); data = [...data, ...sourceData]; } return data; } async function fetchSource(url: string, sinceDay: Date) { function parseDescription(description: string, maxlength: number) { const desc = parse(description); const summary = desc.querySelectorAll(".field--type-text-with-summary"); let text; if (summary.length > 0) { text = summary[0].textContent; } else { text = desc.textContent; } text = text.replace(/\s+/g, " ").trim(); if (text.length > maxlength) { return text.slice(0, maxlength) + "..."; } else { return text; } } const response = await fetch(url); const responseJSON = await parseXML(await response.text()); const data = responseJSON.rss.channel.item.filter( i => { const d = new Date(i.pubDate); return d >= sinceDay; }, ).map(i => { return { title: i.title, link: i.link, pubDate: i.pubDate, description: parseDescription(i.description, 400), }; }); return data; } async function organizeNews(news: any, seen: any) { const key = Deno.env.get("gemini"); const gemini = new GoogleGenerativeAI(key); const system = ` Selecciona y agrupa noticias para un boletín enfocado en Bolivia y dirigido a investigadores sociales. Considera: CONTEXTO ACTUAL: - Crisis económica e institucional - Inseguridad y miedo en la población PRIORIZAR NOTICIAS QUE: - Sugieran posibles alzas de precios, gastos y deudas fiscales, fragilidad en la economía de familias, empresas o instituciones públicas - Revelen conflictos y adaptaciones en la población, en particular manifestaciones de o respuestas a la inseguridad física o económica EVITAR: - Declaraciones de figuras políticas - Noticias que no traten sobre la realidad en Bolivia CRITERIOS DE AGRUPACIÓN: - Temas: Máximo 200 caracteres - Grupos: 2-5 noticias relacionadas - Evitar duplicación de información - Evitar múltiples temas en un grupo, las noticias en un tema deberían apuntar al mismo fenómeno - Evitar repetir temas ya vistos TEMAS VISTOS: ${"- " + seen.join("\n- ")} FORMATO DE RESPUESTA: [ { "tema": string, // Título conciso del tema y que enfatiza avances en noticias "noticias": number[], // Índices de noticias relacionadas "resumen": string, // Resumen factual de las noticias } ] `; const model = gemini.getGenerativeModel({ model: "gemini-1.5-pro-latest", systemInstruction: system, generationConfig: { responseMimeType: "application/json", responseSchema: { type: SchemaType.ARRAY, items: { type: SchemaType.OBJECT, properties: { tema: { type: SchemaType.STRING, }, noticias: { type: SchemaType.ARRAY, items: { type: SchemaType.INTEGER }, }, resumen: { type: SchemaType.STRING, }, }, required: ["tema", "noticias", "resumen"], }, }, }, }); const data = JSON.stringify( Object.fromEntries( news.map(i => i.title).entries(), ), ); const response = await model.generateContent(data); const text = response.response.text(); const res = JSON.parse(text); const seenNow = res.map(r => r.resumen); await setSeen([...seenNow, ...seen]); return res; } function writeHTML(news: any, outline: any) { function composeNoticia(noticia: any) { const textColor = "rgb(54, 55, 55)"; const aStyle = `color:${textColor}; font-size:14px; font-weight:bold; text-decoration:underline 1px solid ${textColor}`; const pStyle = `color:${textColor}; font-size:12px;`; return `${noticia.title}

${noticia.description}

`; } function composeTema(tema: any) { const h2Style = `font-family: "SF Pro Display", -apple-system-headline, system-ui, -apple-system, BlinkMacSystemFont, "Segoe UI", Roboto, Helvetica, Arial, sans-serif, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol"; margin:50px 0 25px 0; font-size:24px;`; const emStyle = `font-size: 14px; opacity: .7`; const pStyle = `margin-bottom: 25px`; return `

${tema.tema}

${tema.resumen}

${ tema.noticias.map(composeNoticia).join("") }`; } const data = outline.map(i => { return { tema: i.tema, noticias: i.noticias.map(n => news[n]), resumen: i.resumen }; }); return data.map(composeTema).join(""); } function writeEmail(subject: string, html: string) { return `

${html}

`; } async function getSeen() { let seen = await blob.getJSON("seenTemas") as string[]; seen ??= []; return seen; } async function setSeen(seen: any) { await blob.setJSON("seenTemas", seen.slice(0, 15)); } export default async function(interval: Interval) { try { const subject = `Bolivia Digest`; // const subject = `Prueba`; const seen = await getSeen(); const news = await fetchNews(); const outline = await organizeNews(news, seen); const html = writeHTML(news, outline); const emailContent = writeEmail(subject, html); await email({ subject: subject, html: emailContent, }); console.log("Email sent successfully!"); } catch (error) { console.error("An error occurred."); console.error("Error:", error); } }

boliviaDigest

Version 123