[{"data":1,"prerenderedAt":4},["ShallowReactive",2],{"tux-codeblock:python:github-light:yqnbl1":3},"\u003Cpre class=\"shiki github-light\" style=\"background-color:#fff;color:#24292e\" tabindex=\"0\">\u003Ccode>\u003Cspan class=\"line\">\u003Cspan style=\"color:#6A737D\"># Reproduces the CLS-204 vs CLS-211 ITAR comparison shown above.\u003C\u002Fspan>\u003C\u002Fspan>\n\u003Cspan class=\"line\">\u003Cspan style=\"color:#D73A49\">from\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\"> tti_ai_studio \u003C\u002Fspan>\u003Cspan style=\"color:#D73A49\">import\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\"> corpora, models\u003C\u002Fspan>\u003C\u002Fspan>\n\u003Cspan class=\"line\">\u003C\u002Fspan>\n\u003Cspan class=\"line\">\u003Cspan style=\"color:#24292E\">scope \u003C\u002Fspan>\u003Cspan style=\"color:#D73A49\">=\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\"> corpora.load(\u003C\u002Fspan>\u003Cspan style=\"color:#032F62\">\"grants-2024-2026\"\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\">)\u003C\u002Fspan>\u003C\u002Fspan>\n\u003Cspan class=\"line\">\u003Cspan style=\"color:#24292E\">itar   \u003C\u002Fspan>\u003Cspan style=\"color:#D73A49\">=\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\"> scope.filter(\u003C\u002Fspan>\u003Cspan style=\"color:#E36209\">tier\u003C\u002Fspan>\u003Cspan style=\"color:#D73A49\">=\u003C\u002Fspan>\u003Cspan style=\"color:#032F62\">\"itar\"\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\">)\u003C\u002Fspan>\u003C\u002Fspan>\n\u003Cspan class=\"line\">\u003Cspan style=\"color:#24292E\">public \u003C\u002Fspan>\u003Cspan style=\"color:#D73A49\">=\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\"> scope.filter(\u003C\u002Fspan>\u003Cspan style=\"color:#E36209\">tier\u003C\u002Fspan>\u003Cspan style=\"color:#D73A49\">=\u003C\u002Fspan>\u003Cspan style=\"color:#032F62\">\"public\"\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\">)\u003C\u002Fspan>\u003C\u002Fspan>\n\u003Cspan class=\"line\">\u003C\u002Fspan>\n\u003Cspan class=\"line\">\u003Cspan style=\"color:#D73A49\">for\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\"> label, subset \u003C\u002Fspan>\u003Cspan style=\"color:#D73A49\">in\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\"> [(\u003C\u002Fspan>\u003Cspan style=\"color:#032F62\">\"itar\"\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\">, itar), (\u003C\u002Fspan>\u003Cspan style=\"color:#032F62\">\"public\"\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\">, public)]:\u003C\u002Fspan>\u003C\u002Fspan>\n\u003Cspan class=\"line\">\u003Cspan style=\"color:#D73A49\">    for\u003C\u002Fspan>\u003Cspan style=\"color:#005CC5\"> cls\u003C\u002Fspan>\u003Cspan style=\"color:#D73A49\"> in\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\"> (\u003C\u002Fspan>\u003Cspan style=\"color:#032F62\">\"CLS-204\"\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\">, \u003C\u002Fspan>\u003Cspan style=\"color:#032F62\">\"CLS-211\"\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\">):\u003C\u002Fspan>\u003C\u002Fspan>\n\u003Cspan class=\"line\">\u003Cspan style=\"color:#24292E\">        m \u003C\u002Fspan>\u003Cspan style=\"color:#D73A49\">=\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\"> models.classifier(\u003C\u002Fspan>\u003Cspan style=\"color:#005CC5\">cls\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\">)\u003C\u002Fspan>\u003C\u002Fspan>\n\u003Cspan class=\"line\">\u003Cspan style=\"color:#24292E\">        p, r \u003C\u002Fspan>\u003Cspan style=\"color:#D73A49\">=\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\"> m.evaluate(subset)\u003C\u002Fspan>\u003C\u002Fspan>\n\u003Cspan class=\"line\">\u003Cspan style=\"color:#005CC5\">        print\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\">(\u003C\u002Fspan>\u003Cspan style=\"color:#D73A49\">f\u003C\u002Fspan>\u003Cspan style=\"color:#032F62\">\"\u003C\u002Fspan>\u003Cspan style=\"color:#005CC5\">{cls}\u003C\u002Fspan>\u003Cspan style=\"color:#005CC5\"> {\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\">label\u003C\u002Fspan>\u003Cspan style=\"color:#005CC5\">}\u003C\u002Fspan>\u003Cspan style=\"color:#032F62\">: precision=\u003C\u002Fspan>\u003Cspan style=\"color:#005CC5\">{\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\">p\u003C\u002Fspan>\u003Cspan style=\"color:#D73A49\">:.3f\u003C\u002Fspan>\u003Cspan style=\"color:#005CC5\">}\u003C\u002Fspan>\u003Cspan style=\"color:#032F62\"> recall=\u003C\u002Fspan>\u003Cspan style=\"color:#005CC5\">{\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\">r\u003C\u002Fspan>\u003Cspan style=\"color:#D73A49\">:.3f\u003C\u002Fspan>\u003Cspan style=\"color:#005CC5\">}\u003C\u002Fspan>\u003Cspan style=\"color:#032F62\">\"\u003C\u002Fspan>\u003Cspan style=\"color:#24292E\">)\u003C\u002Fspan>\u003C\u002Fspan>\n\u003Cspan class=\"line\">\u003C\u002Fspan>\u003C\u002Fcode>\u003C\u002Fpre>",1788285282910]