
Mesurar un agent d'IA: el primer mes
perBruno Galo · Publicat el 16 de nov. 2025
Actualitzat el 27 d’oct. 2026
Pregunti quina és la taxa d'automatització d'un agent i normalment obtindrà una xifra contundent. Pregunti què ha passat amb el cost total del procés, la taxa d'error o el temps de cicle i la resposta serà molt menys contundent i, sovint, no estarà disponible, perquè ningú no va mesurar el procés abans que arribés l'agent.
Aquest és el problema central de mesura en els desplegaments d'agents. Les mètriques fàcils de produir són les que l'agent genera sobre si mateix: quants elements ha processat, quina proporció ha gestionat sense intervenció humana, la seva confiança mitjana. Són entrades, no resultats. Un agent pot reportar una taxa d'automatització alta mentre el cost total del procés es manté igual, perquè la feina s'ha desplaçat a una cua d'escalat que ningú no compta.
Les mètriques que compten són les que parlen del procés, no de l'agent. Són més difícils de recollir, requereixen una línia base capturada abans del desplegament i són l'única base sobre la qual algú pot dir honestament si la cosa va funcionar.
Què he de mesurar el primer mes d'un agent d'IA?
El primer mes, mesuri si l'agent encerta i si la feina que retorna es fa, no si ha estalviat diners. Segueixi cinc coses: la taxa d'error en una mostra d'accions automatitzades, la precisió de l'escalat, la profunditat i l'antiguitat de la cua d'escalat, la taxa de reversió i el volum respecte a la seva línia base prèvia al llançament. Deixi la taxa d'automatització i les afirmacions de ROI per més endavant.
- Taxa d'error en accions automatitzades mostrejades. Revisi cada setmana una mostra fixa del que l'agent ha fet pel seu compte, ponderada per conseqüència. Els escalats ja es revisen de tota manera; les accions automatitzades, no.
- Precisió de l'escalat. La proporció d'escalats que eren problemes reals. Una precisió baixa crema l'atenció dels revisors.
- Profunditat i antiguitat de la cua d'escalat. Es fa la feina que l'agent retorna, i quina antiguitat té l'element més vell? El disseny d'aquesta cua es tracta a l'article sobre traspassos d'agents.
- Taxa de reversió. Cada quant una persona desfà o corregeix una acció de l'agent a posteriori. Google Cloud en diu implicit rejection rate (taxa de rebuig implícit) i és el senyal primerenc més honest, perquè la gent poques vegades dona una valoració explícita, però sí que reverteix.
- Volum i barreja respecte a la línia base. L'agent veu els casos per als quals el va dissenyar? Si no hi ha línia base, comenci a capturar-la ara.
Una sisena línia opcional és el time to verify (temps de verificació): l'interval entre que l'agent acaba i una persona aprova. Segons Google Cloud, si la revisió triga més que fer la tasca a mà, la fricció supera el valor.
Són senyals primerencs, no conclusions. La qualitat i el traspàs continuen necessitant de quatre a sis setmanes per significar alguna cosa, com diu la secció de preguntes freqüents.
Un pla de mesura per al primer mes
| Setmana | Focus | Què mirar | Decisió que sustenta |
|---|---|---|---|
| Abans del go-live | Línia base | Temps de cicle, cost per transacció, taxa d'error i volum d'almenys un període complet | Si qualsevol afirmació posterior és demostrable |
| Setmana 1 | Funciona amb seguretat? | Volum, fallades i excepcions, una mostra de cada tipus d'acció automatitzada | Aturar o continuar; errors evidents de llindar |
| Setmana 2 | Encerta? | Taxa d'error mostrejada per conseqüència, taxa de reversió, precisió de l'escalat | Estrènyer o afluixar llindars |
| Setmana 3 | Es fa la feina retornada? | Profunditat i antiguitat de la cua, temps fins a la resolució, time to verify | Dotació i responsable de la cua |
| Setmana 4 | Primera revisió | Tot l'anterior respecte a la setmana 1; tipus d'excepció recurrents | Què corregir el segon mes; si el seguiment del cost del procés és a punt |
Les files «Qualitat de l'agent» i «Salut del traspàs» de la taula de capes de mètriques, més avall, contenen les definicions completes. Aquest pla només les ordena en el temps.
El que pot esperar
- Taxa d'automatització i confiança mitjana. La prioritat més baixa el primer mes. Són fàcils de produir i d'inflar afluixant llindars o reduint l'abast, tal com s'argumenta més avall a «Què funciona i sobre què cal ser honest». La taxa de compensació automàtica és una trampa semblant en la conciliació de factures.
- Resultats de procés. El temps de cicle d'extrem a extrem i el cost total per transacció necessiten un o dos trimestres.
- Resultats de negoci. Els dies fins al cobrament i els dies fins al tancament necessiten dos o tres trimestres i una atribució acurada.
Senyals d'alarma el primer mes
- La cua creix més de pressa del que es buida.
- La taxa de reversió puja setmana rere setmana.
- La precisió de l'escalat cau, que sol ser el moment en què els revisors comencen a aprovar per inèrcia.
- La taxa d'automatització puja mentre puja també la taxa d'error mostrejada.
Com a exemple d'una revisió del primer mes, l'agent de dades mestres mostra com és una comprovació mostrejada sobre registres reals.
Vol llançar un agent i té la mesura a punt des del primer dia? Comenci per la nostra avaluació de preparació per a la IA d'un dia.
Per què això importa
La mesura determina tres resultats que arriben tots més tard que el desplegament.
Si l'agent sobreviu al seu primer mes dolent. Tots els agents en tenen un. Si l'única evidència disponible és una taxa d'automatització, una única fallada visible domina la conversa. Si pot demostrar una reducció del temps de cicle, de la taxa d'error i del cost per transacció al llarg de dos trimestres, un incident queda contextualitzat en lloc de ser decisiu.
Si millora. La millora exigeix saber quins casos fallen i per què. Un desplegament que només mesura la taxa d'automatització agregada no té cap mecanisme de millora, perquè la xifra no es descompon en res sobre el qual es pugui actuar.
Si es finança el següent. Els programes d'agents solen ser seqüencials: un procés, després un altre. El segon es finança amb l'evidència del primer, i «hem automatitzat el 85% del quadrament» és un argument més feble davant d'un comitè financer que un canvi demostrat en el cost per transacció i el temps de cicle.
Hi ha un risc invers que val la pena anomenar. Una mala mesura també pot fer que un desplegament genuïnament pobre sembli reeixit durant prou temps per prorrogar-lo, cosa que és més cara que una fallada honesta i primerenca.
D'un cop d'ull: les capes de mètriques
| Capa | Mètrica | Què li diu | Trampa |
|---|---|---|---|
| Activitat de l'agent | Volum processat, taxa d'automatització, confiança mitjana | Si l'agent està funcionant | No diu res sobre si el procés ha millorat |
| Qualitat de l'agent | Taxa d'error en accions automatitzades, taxa de reversió, precisió de l'escalat | Si les decisions autònomes són correctes | Exigeix mostrejar accions automatitzades, no només revisar escalats |
| Salut del traspàs | Profunditat de la cua, antiguitat, temps fins a la resolució, proporció resolta dins de l'objectiu | Si la feina reubicada s'està fent | Gairebé mai no s'instrumenta a l'arrencada |
| Resultat del procés | Temps de cicle d'extrem a extrem, cost total per transacció, taxa d'error que arriba als clients o al llibre major | Si el desplegament va funcionar | Necessita una línia base prèvia al desplegament |
| Resultat de negoci | Dies fins al cobrament, dies fins al tancament, exactitud de les comandes, capital circulant alliberat | Si va tenir importància | Lent i multicausal: atribueixi amb cura |
| Aprenentatge | Proporció d'escalats que podrien haver estat regles, canvis de llindar fets, tipus d'excepció recurrents | Si continuarà millorant | Exigeix una revisió mensual que ningú no programa |
La capa que més sovint falta del tot és la salut del traspàs, que és precisament on s'amaga un desplegament que falla. Un agent amb una taxa d'automatització alta i una cua d'escalat creixent i envellida no ha reduït feina: ha concentrat la feina difícil en un sol lloc i ha deixat de comptar-la.
Què funciona i sobre què cal ser honest
Què funciona:
Una línia base capturada abans de construir res. Temps de cicle, cost per transacció, taxa d'error i volum durant com a mínim un període complet, idealment dos. És l'activitat més econòmica i més sovint omesa de tot el desplegament i, sense ella, cada afirmació posterior és una asserció.
El cost total del procés, incloent-hi els escalats. El denominador honest és tot el temps humà dedicat al procés: supervisió de l'agent, resolució d'escalats, monitoratge i l'ajust periòdic. Els desplegaments que només compten la part automatitzada reporten estalvis que no apareixen en el pressupost de ningú.
Revisió per mostreig de les accions automatitzades, de manera permanent. Els escalats es revisen perquè exigeixen atenció. Les accions automatitzades no, i és exactament per això que els errors allà es detecten tard. Una mostra petita i permanent és l'única manera de detectar una degradació silenciosa.
Taxa d'error desglossada per conseqüència, no només per recompte. Deu elements de poc valor mal classificats i un pagament a proveïdor mal redirigit no són comparables. Ponderi per impacte o la mètrica l'enganyarà.
La precisió de l'escalat com a mètrica de primer ordre. La proporció d'escalats que van resultar ser problemes genuïns. Una precisió baixa vol dir que les persones estan revisant no-problemes, cosa que destrueix l'atenció sobre la cua i és invisible en qualsevol altra mètrica.
Sobre què cal ser honest:
Sense línia base no pot provar el valor, i probablement no l'obtindrà retrospectivament. Reconstruir de memòria el temps de cicle previ al desplegament produeix una xifra modelada per qui vol que el desplegament hagi tingut èxit. Accepti que alguns beneficis seran indemostrables i sigui franc sobre quins.
Els resultats de negoci són multicausals. Els dies fins al cobrament han millorat, però també va canviar les condicions, va afegir un segment de clients i va perdre un pagador lent. Reclamar tota la millora per a l'agent és la manera més ràpida de perdre credibilitat davant d'un CFO. Atribueixi de manera conservadora i digui què més va canviar.
Part del benefici és real i no mesurable. Consistència, auditabilitat, resistència a l'absència de personal i l'eliminació de feina que la gent trobava desmoralitzadora. Aquestes coses compten i no apareixen en una mètrica de cost. Enunciï-les com a qualitatives en lloc de convertir-les en xifres inventades.
La taxa d'automatització es pot manipular sense que ningú ho pretengui. Afluixar els llindars la puja. Estrènyer l'abast als casos fàcils la puja. Cap de les dues coses millora el procés. Si es reporta, reporti-la al costat de la taxa d'error i de la precisió de l'escalat, perquè no es pugui moure sola.
La mesura té un cost. Instrumentar tot el que hi ha en aquesta llista és desproporcionat per a un desplegament petit. Triï les capes que es corresponguin amb el que hi ha en joc: qualitat de l'agent, salut del traspàs i un resultat de procés és un mínim defensable.
Marc de decisió: construir la mesura
Recorri'l en ordre. Aturi's en la primera coincidència.
1. Té una línia base prèvia al desplegament?
Si l'agent encara no està en producció, capturi'n una ara: un o dos períodes complets de temps de cicle, cost, volum i taxa d'error. Si ja està en producció, reconstrueixi el que pugui, etiqueti-ho com a estimació i comenci a mesurar correctament a partir d'avui en lloc de discutir sobre el passat.
2. Mesura alguna cosa més enllà de l'activitat de l'agent?
Si la taxa d'automatització i el volum és tot el que té, afegeixi la taxa d'error en accions automatitzades i la profunditat de la cua d'escalat. Aquestes dues converteixen un dashboard que no pot fallar en un que sí que pot.
3. Està instrumentada la salut del traspàs?
Si no, aquesta és la prioritat: profunditat de la cua, antiguitat, temps fins a la resolució, proporció dins de l'objectiu. Aquí és on un desplegament que falla es fa visible primer.
4. Està mostrejant les accions automatitzades per comprovar-ne la correcció?
Si no, comenci una mostra petita i permanent. Revisar només els escalats vol dir que està comprovant els casos sobre els quals l'agent ja sabia que no estava segur.
5. Pot indicar el cost total del procés incloent-hi tot el temps humà?
Si no, construeixi aquesta xifra. És la que demanarà un comitè financer i la que determina si es finança el següent desplegament.
6. Té una revisió mensual que categoritzi les resolucions dels escalats?
Si no, programi-la amb un responsable amb nom i cognoms. Sense ella, el rendiment de l'agent queda estàtic des de l'arrencada.
7. Tot l'anterior, les xifres semblen bones, però ningú no se les creu?
El problema és de transparència, no de mesura. Publiqui el mètode, les reserves i el que no pot atribuir. La confiança en una xifra ve més de les limitacions declarades que de la seva mida.
Cost i esforç indicatius
| Àmbit de treball | Temps de calendari habitual | Perfil d'esforç |
|---|---|---|
| Captura de la línia base prèvia al desplegament | 4–8 setmanes de calendari | Esforç lleuger, calendari llarg: ha d'abastar períodes complets |
| Instrumentació de l'activitat i la qualitat de l'agent | 2–3 setmanes | Lleuger: majoritàriament disponible des de l'agent |
| Instrumentació de la salut del traspàs | 2–4 setmanes | Mitjà: normalment requereix desenvolupament |
| Model de cost del procés incloent-hi els escalats | 2–3 setmanes | Mitjà: anàlisi, requereix un registre honest del temps |
| Disseny del procés de revisió per mostreig | 1–2 setmanes | Lleuger, després continu |
| Reporting i dashboard | 2–4 setmanes | Mitjà |
| Revisió mensual d'aprenentatge | 1 setmana de posada en marxa, després continu | Lleuger, però s'ha de sostenir |
Pressuposa un agent en un procés amb dades disponibles a l'ERP o a la plataforma d'integració. Sol·liciti un pressupost per a una estimació delimitada.
Com mesuren les empreses la maduresa d'un agent d'IA
No hi ha una escala única acordada, de manera que convé prendre això com una escala de treball i no com un estàndard. Mesura la maduresa pel que l'equip pot demostrar, en quatre passos que segueixen el calendari d'aquest article.
- En marxa (primer mes). Activitat, qualitat mostrejada i salut del traspàs. L'agent funciona i la feina retornada és visible.
- De confiança (mesos dos a tres). Les taxes d'error i de reversió són estables, la precisió de l'escalat és prou alta perquè els revisors actuïn davant les alertes i la revisió mensual d'aprenentatge es fa de debò.
- Demostrat (segon trimestre). Resultat de procés respecte a la línia base: temps de cicle i cost total per transacció, incloent-hi el temps dedicat als escalats.
- Acumulatiu (a partir del tercer trimestre). Resultats de negoci atribuïts amb prudència, escalats convertits en regles i el proper agent finançat amb evidència.
Un desplegament només puja un graó quan existeix l'evidència de l'anterior. Reclamar estalvis de cost el primer mes és la manera que un agent sòlid acabi amb una reputació que no ho és.
Preguntes freqüents
Què he de mesurar el primer mes d'un agent d'IA?
La taxa d'error en una mostra d'accions automatitzades, la precisió de l'escalat, la profunditat i l'antiguitat de la cua d'escalat, la taxa de reversió i el volum respecte a una línia base. Junts mostren si l'agent encerta i si la feina que retorna es fa. El cost i el ROI necessiten més temps, així que deixi'ls fora de l'informe del primer mes.
Quina única mètrica hauríem de reportar al consell?
Cost per transacció i temps de cicle, amb la taxa d'error al costat perquè no es pugui mostrar eficiència sense qualitat. Si només una, el temps de cicle: és més difícil de manipular i correlaciona amb la major part dels beneficis que de debò preocupen la gent.
Quant temps passa fins que les xifres signifiquen alguna cosa?
La qualitat de l'agent i la salut del traspàs esdevenen significatives en quatre a sis setmanes. Els resultats de procés necessiten un o dos trimestres. Els resultats de negoci (dies fins al cobrament, dies fins al tancament) normalment dos o tres trimestres, perquè són lents i necessiten un període net després que el desplegament s'assenti. Per saber què vigilar fins llavors, consulti el pla del primer mes, al principi d'aquest article.
Què ha de tenir la prioritat més baixa en mesurar un agent?
La taxa d'automatització i les puntuacions de confiança de l'agent mateix. Són les xifres més fàcils de produir i d'inflar, i no diuen res sobre si el procés ha millorat. Si es reporten, que sigui només al costat de la taxa d'error i de la precisió de l'escalat.
Hauríem de mesurar contra un objectiu o contra la línia base?
Contra la línia base, principalment. Els objectius fixats abans del desplegament són conjectures, i no assolir un objectiu arbitrari en un desplegament que va millorar materialment el procés genera la conversa equivocada.
I si l'agent funciona però les xifres no s'han mogut?
Les causes habituals són que la part automatitzada no era la restricció, que la feina s'ha desplaçat a una cua d'escalat que no es compta, o que domina un problema aigües amunt. Els tres són troballes que val la pena tenir, i els tres són invisibles si només es mesura la taxa d'automatització.
Com mesuren les empreses la maduresa d'un agent d'IA?
Pel que poden demostrar. Primer que l'agent funciona amb seguretat, després que les seves decisions són correctes i que la feina retornada es fa, a continuació una millora del procés respecte a una línia base i, finalment, resultats de negoci atribuïts amb prudència. Cada pas necessita l'evidència de l'anterior.
Necessitem una eina d'analítica a part?
Normalment no a escala mid-market. La major part d'aquestes mètriques es poden derivar de l'ERP i dels registres de la mateixa plataforma d'integració. La mancança sol ser el model de cost del procés i la revisió per mostreig, i cap de les dues és un problema d'eines.
Amb quina rapidesa podem connectar les dades subjacents prou bé per mesurar això?
Més de pressa del que la majoria d'equips suposa per a la part de connexió. Amb una plataforma de sincronització en temps real com Stacksync (som partner d'implementació), les dades que alimenten les mètriques d'un agent poden ser operatives en setmanes. La part més lenta és acordar quines de les mètriques de dalt importen realment per al seu agent abans de començar a mesurar, per no acabar produint números nets sobre les coses equivocades.
Tancament — Passos següents
La mètrica d'agent que es reporta és gairebé sempre la que l'agent produeix sobre si mateix, i és la que menys relació té amb si el desplegament valia la pena. Les mesures útils es troben a nivell de procés, necessiten una línia base i inclouen la feina que l'agent va tornar.
Si ja té un agent en marxa i vol saber en quin punt està: extregui la profunditat de la cua d'escalat i el seu perfil d'antiguitat, i després extregui el total d'hores humanes dedicades al procés aquest mes. Aquestes dues xifres, contrastades amb el que sàpiga de l'estat previ al desplegament, li diran més que qualsevol taxa d'automatització.
Si vostè està a punt de llançar un agent, o en va llançar un fa poc sense línia base, l'avaluació de preparació per a la IA d'un dia és per on començaríem.
Sobre l'autor
Bruno Galo és el fundador d'Atypical Tech, una consultora de NetSuite que atén clients mid-market a tota la península Ibèrica. Està especialitzat a connectar sistemes CRM i ERP per aconseguir fluxos d'order-to-cash sense friccions, construint pipelines automatitzats de gestió de comandes que eliminen l'entrada manual de dades entre els equips comercials i financers. Com a partner oficial d'implementació de Stacksync, Bruno dissenya i desplega agents d'IA sobre plataformes d'integració per gestionar l'encaminament d'excepcions, el processament de documents i la conciliació, convertint fluxos de comandes fragmentats en sistemes fiables que es monitoren a si mateixos.
LinkedIn: https://www.linkedin.com/in/brunogd
Fonts
- APQC, Open Standards Benchmarking — mesures de cost i temps de cicle de processos — https://www.apqc.org
- NIST, AI Risk Management Framework — mesura i monitoratge de sistemes d'IA — https://www.nist.gov/itl/ai-risk-management-framework
- Google Cloud, The KPIs that actually matter for production AI agents (26 de febrer de 2026), implicit rejection rate, time to verify i cost per successful task — https://cloud.google.com/transform/the-kpis-that-actually-matter-for-production-ai-agents
- Oracle NetSuite, documentació de reporting i saved searches — https://docs.oracle.com/en/cloud/saas/netsuite/
- COSO, Internal Control — Integrated Framework — activitats de monitoratge — https://www.coso.org
- Experiència de projectes d'Atypical Tech, desplegaments d'agents al mid-market de la península Ibèrica
Comentaris
Encara no hi ha comentaris.
Deixa un comentari
El teu comentari es revisarà abans de publicar-se.
Responsable: Atypical Tech S.L. Finalitat: respondre la teva consulta. Base jurídica: el teu consentiment. Drets: accés, rectificació, supressió i els altres descrits a la política, escrivint a hello@atypicaltech.com.