[ 졸업작품 기록 (72) ]

About this offer

새로 생긴 줄 알았던 중복은 처음부터 원본에 있었다 남은 질문은 "누가 만들었나"였다 앞선 글에서 시험 데이터 일부가 학습 데이터와 바이트 단위로 똑같다는 걸 찾았다. 중복 파일은 15그룹이었다. 거기서 질문이 하나 남았다. 이 중복은 누가 만들었나. 우리 전처리나 조각내기가 만들었다면 파이프라인을 고쳐야 한다. 원본 데이터에 이미 들어 있던 거라면 이야기가 달라진다. 그런데 이 질문은 3주 동안 "원본은 아직 감사하지 않았다"는 문장으로 이월되고 있었다. 이날은 노트북 하나로 그 질문을 닫아 보기로 했다. 39GB를 다 해싱하지 않고 답을 얻은 방법 가장 확실한 방법은 원본 전체를 해싱하는 것이다. 다만 원본이 39GB라서 비싸다. 그래서 질문을 다시 썼다. 처음 질문: 원본 전체가 깨끗한가? 실제로 필요한 질문: 이 15그룹의 동일성은 어디서 왔나? 두 번째 질문이라면 중복 그룹이 가리키는 원본 파일만 보면 된다. 중복이 발견된 조각들의 출처 키가 178개였고, 거기서 대상 원본이 180개 파일 로 좁혀졌다. 수백 MB만 해싱하면 됐다. 질문을 좁혔는데도 답은 같았다. 전수 검사가 비쌀 때 비용을 줄여 주는 건 컴퓨터가 아니라 질문을 정확히 쓰는 일 이었다. 결과: 15그룹 전부 원본에 이미 있었다 그룹을 원본 기준으로 대조하니 세 종류로 갈렸다. 유형 그룹 수 파일 수 원본 파일 전체가 바이트 동일 5 4 원본 앞쪽 약 9~10초 구간만 동일 9 171 원본의 해당 구간이 무음이라 같아 보인 것 1 5 세 줄을 합치면 15그룹이고, 우리 단계가 새로 만든 동일성은 0/15 였다. 이 결과에서 눈여겨볼 대목이 하나 있다. 처음 이 조사를 맡길 때 나는 분류 범주를 "원본 동일 / 조각 후 동일 / 귀속 불가" 세 가지로 지정했다. 그런데 가장 큰 덩어리, 즉 앞부분만 같은 171파일 이 어느 범주에도 들어가지 않았다. 조사하던 코딩 에이전트가 네 번째 범주를 만들어 보고했다. 다행히 핵심 불변식인 "우리가 새로 만든 건 0"은 그대로 지켜졌다. 분류 틀을 미리 정해 주면 현실이 그 틀을 벗어난다. 이번에 배운 건 불변식만 고정하고 분류 방식은 열어 두는 편이 낫다 는 점이다. 같은 날 나온 곁가지: 0바이트 파일 30개 원본 쪽에는 빈 파일(0바이트)이 30개 있었고, 학습용 조각 쪽에는 짝이 없는 조각이 30개 있었다. 두 집합이 같은 건지 양쪽 차집합을 모두 구해 봤다. 결과는 0 / 0 이었다. 같은 30개였다. 빈 파일이 원본에서 그대로 흘러 내려온 것이지, 조각내기가 만든 결함이 아니었다. 그런데 그 조각내기 코드가 저장소에 없었다 여기서 한 가지가 걸렸다. 원본에서 조각을 잘라 내는 코드를 확인하려고 이 저장소를 뒤졌는데, 한 줄도 없었다. 그래서 "동일한 입력이 동일한 출력을 냈다"는 설명은 이렇게 읽어야 한다. 디코딩이 결정적이라는 가정 위에 서 있는 논증 이고, 코드를 직접 돌려서 재현한 건 아니다. 여기서 조심한 건 "없다"를 "잃어버렸다"로 쓰지 않는 것이었다. 이 저장소에 없다 는 것과 어디에도 없다 는 것은 다른 말이다. 다른 폴더나 다른 저장소에 있을 수 있다. 그래서 "없다"를 적을 때는 확인한 범위를 문장에 같이 적어야 했다. 아직 다 된 건 아니다 닫힌 건 발견 경위 규명 까지다. 중복은 원본 바이트에 이미 있었다는 실측이다. 원본 쪽에서 왜 그렇게 만들어졌는지는 모른다. "원본 데이터셋 탓"으로 단정하지 않았다. 앞부분이 같은 이유, 즉 녹음 앞쪽에 공통된 무언가가 있는지는 이 시점에는 확인하지 않았다. 조각내기 코드는 이 저장소에 없다는 것까지가 사실이다. 동일 입력이 동일 출력을 낸다는 설명은 논증이다. 이 중복을 어떻게 처리할지(제거 후 재분할 등)는 결정되지 않았다. 해결된 게 아니다. 마무리 3주째 이월되던 질문을 닫고 나서 가장 크게 남은 건 결과 자체보다 방법이었다. 전수 검사는 비싸니까 못 한다고 생각하고 있었는데, 질문을 정확히 쓰자 같은 답이 수백 MB로 나왔다. 그리고 답을 쓸 때마다 "어디까지 확인했는지"를 같이 적어야 했다. 코드가 없다는 말과 코드를 잃어버렸다는 말은 이 글 안에서도 다른 문장이었다. 띵동(Ddingdong)은 청각장애인 1인 가구를 위한 현관 부착형 소리 분류 알림 시스템 졸업작품입니다. 초인종 · 노크 · 화재경보를 구분해서 사진과 자막까지 스마트폰으로 보내주는 걸 목표로 만들고 있습니다.

Offer details

Provider

velog

Source

velog-rss

Score

54.4

Confidence

49%