METR 演示 AI 智能体如何篡改 Inspect 评估记录以掩盖不当行为
掘金
METR 发布分析,指出当前 AI 失准行为仍在推理轨迹和日志中留下大量证据,但未来智能体可能篡改人类用来审查它们的可观测性系统。在 Inspect 评估框架的转录查看器中,研究人员在 AI 智能体协
Балл: 57.14Уверенность: 54%
ПодробнееЗагружаем каталог…
НАВИГАТОР ПО ВОЗМОЖНОСТЯМ ИИ
Найдите свой ИИ-инструмент. Бесплатный доступ, пробные периоды и кредиты — в одном месте.
掘金
METR 发布分析,指出当前 AI 失准行为仍在推理轨迹和日志中留下大量证据,但未来智能体可能篡改人类用来审查它们的可观测性系统。在 Inspect 评估框架的转录查看器中,研究人员在 AI 智能体协
Балл: 57.14Уверенность: 54%
Подробнее掘金
Bamboo 调度系统 OceanBase 适配实战:存储过程迁移踩过的三个大坑 一、背景:为什么 Bamboo 适配 OceanBase 这么"痛"? 先简单介绍下 Bamboo:一个自研的分布式任
Балл: 57.13Уверенность: 54%
Подробнее掘金
如果你做过 AI 对话、流式生成、或者 AI Agent 这类"跑得比较久"的功能,大概率被这样一个问题折磨过: 本文想讲清楚一件事:一个健壮的 AI 应用,应该把"用户的连接"和"实际的任务"这两条
Балл: 57.13Уверенность: 54%
Подробнее掘金
Spring AI 工具调用不是反射一下就结束:用 2.0.1 跑通失败恢复与调用上限 目录 先说结论 从 ChatResponse 到 ToolResponseMessage:执行链在哪 最小实验:
Балл: 57.12Уверенность: 54%
ПодробнееiThome 新聞
製造業推動後量子密碼學(Post-Quantum Cryptography,PQC)轉型,面臨的問題不只是更換加密演算法。網路安全業者Forescout從營運技術(OT)環境分析PQC轉型,指出OT環境的密碼學機制不只用於保護網路連線,也分布在韌體數位簽章、安全開機及裝置身分等功能。企業因此需要找出既有設備及系統使用哪些密碼學機制,並確認這些機制能否升級;無法升級的設備,未來可能需要採取額外防護措施甚至汰換。
Балл: 57.1Уверенность: 54%
ПодробнееiThome 新聞
資安業者Fortinet旗下FortiGuard Labs揭露Linux後門程式ClingSTUN,攻擊者鎖定暴露於公開網路且尚未修補已知漏洞的設備發動攻擊。設備感染ClingSTUN後,攻擊者可持續存取遭入侵系統,並將其變成可遠端控制的代理節點。
Балл: 57.1Уверенность: 54%
ПодробнееiThome 新聞
OpenAI宣布將擴大ChatGPT廣告測試,10月稍晚將在美國的圖片生成功能中測試新的視覺廣告,以圖片呈現商品或服務,並與使用者生成的圖片分開顯示。OpenAI也擴充廣告成效追蹤及投放安全機制,讓廣告主了解廣告是否帶來購買等後續行動,同時避免廣告出現在敏感或不適合的對話旁。 新的視覺廣告會在使用者生成圖片時出現,可使用商品照片、使用情境或服務相關圖片呈現,並會明確標示為廣告,不會混入使用者要求ChatGPT生成的圖片。首波測試僅限美國及部分廣告主,OpenAI表示,廣告也不會影響ChatGPT產生的回答。
Балл: 56.63Уверенность: 54%
ПодробнееiThome 新聞
當車輛具備更多連線能力,攻擊面也隨之增加。如何確認車輛軟體、通訊介面與更新流程具備安全防護能力,已成為全球車廠與供應鏈必須面對的新要求。 聯合國歐洲經濟委員會(UNECE)世界車輛法規協調論壇(WP.29)近年推出UN R155與UN R156,分別針對車輛資安管理系統(CSMS)與軟體更新管理系統(SUMS)建立要求,成為車輛進入部分國際市場的重要規範。 車輛資安要求的改變,也影響車廠開發流程。 以ISO/SAE 21434為例,該標準針對道路車輛資安工程提出要求,涵蓋車輛電子電氣系統從概念設計、開發、生產,到使用、維護與淘汰等完整生命週期的資安風險管理。
Балл: 56.63Уверенность: 54%
Подробнееvelog
자동화 시스템을 이해하고 통제하려면 무엇부터 살펴야 할까요? 무엇을 읽을 수 있는지, 어디까지 판단하는지, 어떤 조건에서 행동하는지 살펴야 합니다. 자동화가 개입하면 이 경계가 기능의 개수보다 시스템을 이해하고 통제하는 데 중요한 기준이 됩니다. 자동화 기능을 늘릴 때는 사용자가 그 동작을 이해할 기준도 필요합니다. 배포 상황을 묻는 일과 과거 기록을 찾는 일 SkillsMP의 discord-clawd 설명에서는 전송 전의 대상 확인과 실행 후의 보고가 짝을 이룹니다. 보내기 전에는 누구에게 전달할지 확인합니다. 실행한 뒤에는 대상과 전달 모드를 알려 줍니다. 이렇게 하면 대상 선택과 전달 방식, 실행 결과를 각각 살펴볼 수 있습니다. ( https://skillsmp.com/skill/openclaw-openclaw-agents-skills-discord-clawd-skill-md ) 배포 상황에 관한 두 요청은 작업을 구별하기 위한 설명용 예시입니다. 유지보수 담당자에게 묻는 요청에서는 새로운 대화를 시작해야 합니다. 예전에 논의한 내용을 찾는 요청에서는 이미 남은 기록을 읽어야 합니다. 다루는 주제가 같아도 사용자가 원하는 결과에 따라 필요한 작업이 달라집니다. 문서에 대상 확인을 요구하는 것과 코드가 잘못된 대상으로의 전송을 막는 것은 서로 다른 문제입니다. 사용자에게 명시적인 게시 요청을 받지 않은 강제 전송을 거부하는지도 별도로 살펴야 합니다. 스킬 설명만으로는 이 두 조건을 코드가 강제하는지 알 수 없습니다. OHTTP가 나누는 정보와 보호의 조건 GeekNews의 Cloudflare OHTTP 게이트웨이 소개에서 릴레이가 받는 요청 본문은 암호문입니다. 릴레이에는 클라이언트 IP 같은 연결 정보가 보입니다. 반면 게이트웨이는 요청의 암호화를 풀어 앱 서버에 전달합니다. 요청을 전달하는 과정에서 각 역할이 접하는 정보가 달라지는 구조입니다. ( https://news.hada.io/topic?id=34719 ) 이 정보 분리에는 운영 조건이 붙습니다. 기사에서는 릴레이와 앱 서버를 서로 공모하지 않는 별도 주체가 운영해야 한다고 설명합니다. 앱 서버가 Cloudflare 뒤에 있다면 외부 릴레이와 Cloudflare OHTTP Gateway를 조합하는 방식을 제시합니다. 암호화 방식뿐 아니라 누가 각 역할을 운영하는지도 설계에 포함됩니다. 기사에 따르면 Workers나 Cloudflare 프록시 호스트에서 들어온 요청은 복호화를 거부합니다. 같은 사업자 안에서 역할이 겹치는 상황을 막기 위한 조건입니다. 그러나 개발자가 요청 본문에 이메일이나 사용자 이름을 넣으면 앱 서버는 그 내용을 받습니다. 연결 정보의 분리와 본문에 담을 식별 정보의 선택은 각각 살펴야 합니다. GeekNews 소개 당시 게이트웨이는 비공개 베타 상태였습니다. 가을에 유료 부가 기능으로 내놓겠다는 내용은 당시의 출시 계획입니다. 현재 정식 출시 여부는 이 소개만으로 알 수 없으므로, 제품 상태를 읽을 때는 소개 시점과 계획의 성격을 함께 보아야 합니다. 창 배치를 제안하는 모델과 변경하는 코드 GeekNews의 tmux를 OS로 만들자에 소개된 구상은 데스크톱을 끝없이 펼쳐지는 작업 공간으로 봅니다. 물리 모니터는 그 공간의 일부를 보여 줍니다. 모니터 연결이 달라져도 창의 순서와 어떤 작업에 속한 창인지를 유지하려는 생각입니다. ( https://news.hada.io/topic?id=34720 ) 이 구상은 tmux에서 세션을 유지하고 작업을 중심으로 사용하는 경험을 일반 사용자에게 확장하려는 Linux 실험입니다. 로컬 언어 모델인 LLM은 창 배치안을 만들고 미리보기를 보여 주는 역할을 맡습니다. 실제 변경은 사용자 승인을 거친 뒤 결정론적 코드가 맡도록 설계합니다. 모델이 창을 직접 조작하지 못하게 하고, 고정해 둔 창도 변경하지 못하게 합니다. 초기 실험에서는 행동 데이터 수집이 프라이버시와 충돌했고, 캔버스가 끝없이 쌓이는 문제도 나타났습니다. 입력이 없는 유휴 상태를 근거로 창을 숨기자 읽기를 방해했습니다. 사용자가 키보드나 마우스를 움직이지 않아도 읽기는 계속될 수 있습니다. 따라서 입력이 없다는 신호를 작업 종료로 해석해도 되는지 판단해야 합니다. 새 도구의 설명에서 실행 조건까지 점검하기 세 사례를 참고해 새 에이전트 도구를 어떤 순서로 점검할 수 있을까요? 먼저 설명문에 기록 읽기와 새 대화 중 도구의 역할, 대상 확정 시점, 결과에 남길 전달 정보를 명시합니다. 이어서 넘길 데이터가 필요한 범위인지 확인하고, 중요한 실행 조건이 문서 밖에서도 검사되는지 점검합니다. 점검할 대상은 사례마다 다릅니다. 새 도구에 적용할 때도 어떤 경계를 정하려는지 먼저 분명히 해야 합니다. 도구 설명을 구체화합니다 — 작업 역할과 대상 확정 시점, 결과에 남길 전달 정보를 명시합니다. 넘길 데이터를 살핍니다 — 도구에 전달할 데이터가 작업에 필요한 범위인지 확인합니다. 실행 단계의 검사를 살핍니다 — 중요한 실행 조건이 문서 밖에서도 검사되는지 점검합니다. 무엇을 근거로 누가 실행하는지 드러내기 적용할 기준은 기능이 다루는 대상에 맞춰 잡아야 합니다. 메시지를 보내는 도구에는 전달 조건이, 요청을 중계하는 구조에는 정보의 분리가 필요합니다. 창 배치를 제안하는 모델에는 실제 변경으로 이어지는 조건이 필요합니다. 각 사례에서 나누는 대상을 구체적으로 짚는 것이 설계 점검의 출발점입니다. 원문: webi 기술 블로그 참고한 자료: SkillsMP Agent Skill: discord-clawd (openclaw) Cloudflare OHTTP 게이트웨이 tmux를 OS로 만들자
velog
60일차 1. 배운 내용 멀티 에이전트 시스템의 평가 및 피드백 멀티 에이전트 시스템에서도 기준에 따른 평가와 피드백 루프가 시스템 유지 보수 및 개선에 필요하다. 적절한 정책에 따른 기준들이 존재하면 예외 사항에 대한 대처와 성능에 대한 개선을 자동적으로 이뤄지게 할 수 있다. 2. 실제 작업한 내용 실습 평가 및 피드백에 대한 간단한 실습으로 평가에 대한 기준, 평가 에이전트, 피드백 루프, 실패 시 대응, 부분 복구, 트레이스의 간단한 예제를 살펴보았다. 팀 프로젝트 팀장으로서 3일 프로젝트를 앞두고 주제를 정하고 협업이 잘 이뤄지도록 회의를 주도했다. 1,2차와 다르게 시간이 별로 없지만 지금까지 잘 배운 것들을 사용한다면 괜찮을 거라 생각하고 있다. 3. 소감 프로젝트 회의를 하는 데에 팀원들의 의욕 넘치는 모습이 좋았던 것 같다. 그리고 회의를 잘 따라와 줘서 감사한 마음이 들었다. 내 자신이 보기에는 좀 어려운 주제인데 팀장으로서 크게 벗어나는 부분만 조율하면 팀원들의 역량으로 할 수 있을 것 같다.
Балл: 54.4Уверенность: 49%
Подробнееvelog
오늘은 평소보다 거지 같은 세상을 살아가야 한다는 사실이 너무나 화가 났다. 길거리에서 시끄럽고 짜증 나게 구는 이름 모를 사람 네 명 정도도 패고 싶었는데, 감옥에 갈 수도 있다는 걸 떠올리며 패지 않았다. 감옥에는 절대 가고 싶지 않다. 내가 싫어하는 주거 환경의 특징은 역겨운 냄새가 남 4인 이상의 인원이 한 방을 쓰는 기숙사 형태 기숙사 사감과 빡센 규칙이 있음 인데, 감옥은 내가 싫어하는 모든 주거 환경의 특징을 모두 갖추었을 듯하기 때문이다. 열심히 치료해서 간헐적 폭발 장애에서 벗어나고 싶다.
Балл: 54.39Уверенность: 49%
Подробнееvelog
```sh python3 - <<'PY' import torch print("torch:", torch. version ) print("CUDA:", torch.version.cuda) print("GPU:", torch.cuda.get_device_name(0)) for name in ("float4_e2m1fn_x2", "float4_e2m1fn"): print(name, getattr(torch, name, None)) print("_scaled_mm:", hasattr(torch, "_scaled_mm")) PY grep -A 15 -B 3 -Ei 'fp4. FAIL|RuntimeError|TypeError|NotImplementedError|unsupported' /var/log/b300_validation/stage1_hw_ /08_fp8_fp4_parallel_qualification.log | tail -80
Балл: 54.39Уверенность: 49%
ПодробнееБалл: 54.4Уверенность: 49%