Coding agents kunnen worden geëvalueerd. We moeten alleen het werk evalueren. - The New Stack

- The New Stack onderzoekt een verschuiving in het evalueren van non-deterministische AI coding agents en betoogt dat ze beoordeeld moeten worden op hun feitelijke output in plaats van als conversationele chatbots.
- De voorgestelde methodologie maakt gebruik van uitvoerbare contracten en gedetailleerde scorekaarten om het functionele succes van de door deze agents geproduceerde code te meten.
- Deze aanpak is belangrijk omdat traditionele LLM benchmarks er vaak niet in slagen vast te stellen of een agent daadwerkelijk een complexe software engineering-taak kan oplossen in een real-world omgeving.
- Door te focussen op de uitvoering van het werk kunnen ontwikkelaars de prestaties van agents nauwkeuriger benchmarken en itereren op de betrouwbaarheid van AI-gestuurde softwareontwikkeling.
Bronnen & Citaten
1 bronMeer verhalen
AP News Samenvatting om 02:17 EDT | Nationaal Nieuws
• Een Oekraïense dronecommandant informeerde AP dat aanvallen op Crimea zevenvoudig zouden kunnen toenemen als westerse financiering sneller zou worden geleverd. • In het Verenigd Koninkrijk stelt de komische kandidaat Count Binface, bekend om het dragen van een vuilnisbak op zijn hoofd, zich kandidaat voor een zetel in het parlement.
Lees origineel · militarynews.com'Ik was niet van plan te schieten': Voormalig Thais parlementslid schiet lokale functionaris dood na geldconflict - RTL Today
• Een voormalig Thais parlementslid heeft maandag een lokale overheidsfunctionaris doodgeschoten tijdens een financieel geschil in de provincie Nonthaburi. • De aanval vond overdag plaats buiten een overheidsgebouw; de verdachte werd vervolgens gearresteerd en bekende de daad tegenover journalisten op het politiebureau.
Lees origineel · today.rtl.luSchietincident bij regeringskantoor in Thailand aangekondigd tijdens YouTube live stream - Newsweek
• Chalong Reawraeng, een lid van het Huis van Afgevaardigden van Thailand, heeft maandag naar verluidt ex-politieagent Thongchai Yenprasert en zijn chauffeur neergeschoten bij een regeringskantoor in de provincie Nonthaburi. • Lokale mediaberichten bevestigen dat Thongchai is overleden aan zijn verwondingen, terwijl de provinciale politiechef Major General Dejrapee Kongdee bevestigde dat de verdachte is vastgehouden.
Lees origineel · newsweek.com
NewsweekLaatste nieuws schietincident Thailand: Oud-parlementslid doodt functionaris en bekent vuur te hebben geopend
• Een voormalig lid van het parlement in Thailand opende het vuur op een hoge provinciale functionaris en diens chauffeur, waarbij beide slachtoffers zwaargewond raakten. • De dader heeft het schietincident toegegeven, hoewel het specifieke motief voor de aanval nog niet in detail is bekendgemaakt.
Lees origineel · independent.co.ukChalong Riewrang: Voormalig Thais parlementslid doodt vermoedelijk ambtenaar en bekent op YouTube - BBC News
• Voormalig Thais parlementslid Chalong Riewrang heeft vermoedelijk een overheidsfunctionaris doodgeschoten. • Na het incident gebruikte Riewrang een YouTube-livestream om de doding publiekelijk te bekennen.
Lees origineel · bbc.co.uk
BBCEx-Thais parlementslid schiet lokale ambtenaar dood na geldconflict
• Voormalig Thais parlementslid Chalong Riewrang heeft lokale overheidsfunctionaris Thongchai Yenprasert doodgeschoten in Nonthaburi. • De fatale schietpartij zou zijn veroorzaakt door een financieel geschil tussen de twee mannen.
Lees origineel · thesun.my
The SunSchutter doodt voormalige kolonel terwijl Thailand schokt door tweede schietincident in drie dagen - ABC News
• Een schutter, geïdentificeerd als een voormalig parlementslid, is gearresteerd nadat hij een voormalige kolonel doodde en een chauffeur verwondde bij een overheidsgebouw nabij Bangkok. • Dit incident is het tweede schietincident in Thailand binnen drie dagen, wat leidde tot wijdverspreide bezorgdheid over de openbare veiligheid en het geweld.
Lees origineel · abc.net.auVoormalig Thais parlementslid beschuldigd van schieten op lokale functionaris en chauffeur: Politie - CNA
• Voormalig Thais parlementslid Chalong Riewrang is gearresteerd door de politie van Nonthaburi nadat hij een lokale functionaris en een chauffeur zou hebben neergeschoten. • Het incident vond plaats in de provincie Nonthaburi, ten noorden van Bangkok, en werd bevestigd door politiechef Dejrapee Kongdee.
Lees origineel · channelnewsasia.com
CNAMinister van Binnenlandse Zaken Amit Shah zal reageren op debat nadat Modi-regering akkoord gaat met bespreking politiestrijd van 20 juli
• De Modi-regering is ingestemd met een uitgebreid parlementair debat over de politieacties die op 20 juli zijn ondernomen tegen studentenbetogers. • Minister van Binnenlandse Zaken Amit Shah zal tijdens de procedure het officiële antwoord van de regering geven om de controverse aan te pakken.
Lees origineel · india.com
India.comNa weken van gewelddadige protesten stemt PoK in laatste verkiezingsfase te midden van oproepen tot boycot door PTI en JAAC - The Times of India
• Pakistan-bezet Jammu en Kashmir is maandag gestart met de laatste fase van de assembleeverkiezingen onder verscherpte beveiligingsmaatregelen. • Het stemproces vindt plaats na weken van gewelddadige protesten en meldingen van een hardhandig optreden door door Islamabad gesteunde troepen in de regio.
Lees origineel · timesofindia.indiatimes.comVoormalig Thais parlementslid gearresteerd na vermeende schietpartij op overheidsfunctionaris - CBS News
• Voormalig Thais parlementslid Chalong Riewrang is maandag gearresteerd omdat hij een lokale overheidsfunctionaris en de chauffeur van deze functionaris zou hebben neergeschoten. • De verdachte is aangehouden en in hechtenis genomen door de politie van Nonthaburi, aldus politiechef Dejrapee Kongdee.
Lees origineel · cbsnews.com