Loading the catalog…
Loading the catalog…
위키독스 『로봇 없이 시작하는 Physical AI 따라하기』를 바탕으로 공부하면서, 채팅에서는 imitation learning과 ACT까지 이어서 살펴봤다. 이번 기록은 코드 실습이 아니라 개념 공부다. 내가 적어본 차이 공부 중 BC와 ACT의 흐름을 이렇게 적었다. 비교한 방식 입력 출력 한 시점의 행동을 예측하는 BC observation action 하나 ACT observation 연속된 action 묶음 다만 이 표를 BC와 ACT가 서로 다른 학습 범주라는 뜻으로 읽으면 안 된다. ACT도 demonstration으로 학습하는 behavior cloning 계열이다. 여기서는 한 시점씩 예측하는 방식과 action chunk를 예측하는 방식을 비교한 것이다. Action chunk가 뜻하는 것 ACT는 현재 observation을 바탕으로 여러 미래 시점의 action을 함께 예측한다. 컵 집기를 생각하면 접근하고, 그리퍼를 닫고, 들어 올리는 흐름이 떠오른다. 이 예시는 행동의 순서를 이해하기 위한 것이고, 실제 출력은 이런 문장 목록이 아니라 로봇을 제어하는 수치 action의 시퀀스다. 원 논문에서는 Transformer를 사용해 이 시퀀스를 예측한다. 여러 행동을 묶는 것은 시연의 시간적 구조를 다루고, 한 단계씩 예측할 때의 오차 누적을 줄이려는 접근이다. 그렇다고 실패가 없어지는 것은 아니다. 묶음을 끝까지 실행하기만 할까 다음으로 배운 개념은 temporal ensembling이었다. 새로운 observation으로 chunk를 반복 예측하면, 같은 실행 시점을 가리키는 예측이 여러 개 생길 수 있다. ACT는 이 예측들을 가중 결합해 실행할 action을 만든다. 중요한 건 서로 다른 시점의 행동을 섞는 게 아니라, 같은 시점에 수행할 행동에 대한 여러 예측 을 합친다는 점이다. 최신 observation을 반영하면서 출력을 부드럽게 만드는 데 도움이 되지만, 별도의 실패 감지 기능과 같지는 않다. 앞으로 생각하고 있는 failure detection 프로젝트에서도 이 차이를 구분해야겠다. ACT가 행동을 내놓는 부분과, 그 행동이 실패로 이어지는지 판단하는 부분은 따로 살펴볼 문제다. 아직 구현하거나 실험한 내용은 없다. 다음 실습으로는 LeRobot dataset의 observation과 action 구조를 확인하려고 한다. 참고 자료 학습을 시작한 위키독스 페이지 ACT·ALOHA 연구진의 프로젝트 페이지와 논문 ACT 원 논문: Action Chunking and Temporal Ensemble
What RADAR observed and classified to build this opportunity. It is what the source published, not a verification that the offer is still active.
행동 하나에서 행동 묶음으로: ACT 첫 공부 기록. 위키독스 『로봇 없이 시작하는 Physical AI 따라하기』를 바탕으로 공부하면서, 채팅에서는 imitation learning과 ACT까지 이어서 살펴봤다. 이번 기록은 코드 실습이 아니라 개념 공부다. 내가 적어본 차이 공부 중 BC와 ACT의 흐름을 이렇게 적었다. 비교한 방식 입력 출력 한 시점의 행동을 예측하는 BC observation action 하나 ACT observation 연속된 action 묶음 다만 이 표를 BC와 ACT가 서로 다른 학습 범주라는 뜻으로 읽으면 안 된다. ACT도 demonstration으로 학습하는 behavior cloning 계열이다. 여기서는 한 시점씩 예측하는 방식과 action chunk를 예측하는…