일일 보고서 26-09-29

About this offer

들어가기 앞서 오늘도 개인프로젝트의 주제를 구상하였고, 이후 주제에서 수정할부분이나 추가할 부분을 스스로 개인프로젝트 주제 청년 지원 사업 및 자격증 준비 챗봇 청년 지원 사업 및 자격증 준비 챗봇 왜 청년지원사업과 자격증 준비를 하나로 합쳤는가? 청년 지원사업을 찾아보는 연령대가 보통 청년대인데 이때 자격증 준비도 같이 하는 경우가 많아 별개의 기능으로 넣음 근데 청년 지원사업이면 사람인 같은 구직사이트에 api도 필요한가? 아니라고 생각함 ᄂ 근데 청년 지원 사업에 해당하는 기업같은건 어떡하지? → 근데 이것도 api안에 존재할 것임 주요기능은? 챗봇으로 입력받고 해당 사람이 받을 수 있는 지원 사업이 무엇인지 확인하는게 목표 수집방식? 이게 페이지수와 페이지 사이즈로 전체 불러올때까지 반복할 예정인데 잘 될지는 모르겠음 평가방식은? 말그대로 데이터에 있을법한 말 20개와 애매한 5개 오답 5개를 넣어 챗봇이 얼마나 맞출 수 있냐 체크 ᄂ 정답먼저 20개 만들기 문제 / 정답 / 근거위치 순 ᄂ 평가셋의 종류는 일단 일부만 진행 → 5~10개정도 ᄂ 10개면 청년정책 3 자격증관련 3 애매한거 2 오답 2로 진행 평가를 진행할때 GPT한테 물어봐서 답이 다 나오면 의미없음 → GPT도 알 정보면 이미 공공정보일거라 고려사항 예시) 정보처리기사의 필기 합격기준이 뭔지 알려줘 모든 과목 40 이상 , 총 평균 60 이상 / (정보처리기사, 기사 총 점수) ᄂ 근데 이건 인터넷 검색만 해도 바로 나오는 정보지 않나? → 진짜로 api로만 해서 나올 수 있게 ᄂ 예시) 19~29세 사이에 성인 여성이 받을수 있는 정책 ← 정답 근데 청년 지원 사업은 GPT도 잘 모를텐데 자격증 준비는 누구나 다 아는거 아닌가? → 그럼 의미 없는거 아닌가? 예외 사항이 발생한만한가? 정책중에 꼭 청년이라고 19 35세가 아닌 19 39세 등 청년이라 해당하는 사항 이상의 나이를 받은 경우 처리방법에 대해 생각해봐야함 ᄂ 그리고 제한없음은? → 이건 그냥 청년만 쓰게 설계된거니까 상관없다 판단함 청킹 방식은 어떻게 할것인가? 어떻게 나눌 것인가? → api라 기존 청킹으로 나누기에는 무리가 있어보임 → 정책 하나당 청킹 하나로 진행 → 청킹 많이 만들어져도 상관 X ᄂ 메타데이터는 어떤건가? → 정책 하나에 들어갈 데이터들의 필터들 필터링용 데이터들(식별용, 사용자 조건 필터용, 기간 필터용, 분야 필터용) plcyNm 정책명 sprtTrgtMinAge, sprtTrgtMaxAge, sprtTrgtAgeLmtYn 나이 필터 zipCd 지역 필터 earnCndSeCd, earnMinAmt, earnMaxAmt 소득 필터 mrgSttsCd 결혼 여부 jobCd 취업 상태 (재직/미취업 등) schoolCd 학력 plcyMajorCd 전공 sBizCd 특화 요건 (군인, 중소기업 등) aplyPrdSeCd, aplyYmd 신청기간 (상시 여부, 마감일) bizPrdSeCd, bizPrdBgngYmd, bizPrdEndYmd 사업기간 lclsfNm, mclsfNm 분야별 필터 (본문과 중복 저장) 그럼 데이터 정제는 어떻게 처리 할 것인가? 정제 규칙은 무엇으로 할것인가? → 어떤걸 남기고 어떤걸 지울것인가? 남길 데이터 plcyNm 정책명 plcyExplnCn 정책설명 plcySprtCn 지원내용 (가장 중요) plcyKywdNm 키워드 (검색 적중률 향상) lclsfNm, mclsfNm 대분류·중분류명 sprvsnInstCdNm 주관기관명 ("어디서 하는 정책이야?" 대응) operInstCdNm 운영기관명 plcyAplyMthdCn 신청방법 srngMthdCn 심사방법 sbmsnDcmntCn 제출서류 addAplyQlfcCndCn 추가 신청자격 조건 ptcpPrpTrgtCn 참여 제한 대상 earnEtcCn 소득 기타 조건 bizPrdEtcCn 사업기간 기타 내용 etcMttrCn 기타사항 sprtSclCnt 지원규모 (예: 100명) 필터링용 데이터 sprtTrgtMinAge, sprtTrgtMaxAge, sprtTrgtAgeLmtYn 나이 필터 zipCd 지역 필터 earnCndSeCd, earnMinAmt, earnMaxAmt 소득 필터 mrgSttsCd 결혼 여부 jobCd 취업 상태 (재직/미취업 등) schoolCd 학력 plcyMajorCd 전공 sBizCd 특화 요건 (군인, 중소기업 등) aplyPrdSeCd, aplyYmd 신청기간 (상시 여부, 마감일) bizPrdSeCd, bizPrdBgngYmd, bizPrdEndYmd 사업기간 lclsfNm, mclsfNm 분야별 필터 (본문과 중복 저장) sprtArvlSeqYn 선착순 여부 plcyAprvSttsCd 승인 상태 (승인된 정책만 서비스) 표면적으로 남길 데이터 → 화면에 보여주지 않음 plcyNo 정책 고유 ID, 업데이트 기준 lastMdfcnDt 변경 감지 (이 값이 바뀐 정책만 다시 임베딩) frstRegDt "새로 나온 정책" 기능용 (선택) aplyUrlAddr 답변 끝에 신청 링크로 제공 refUrlAddr1, refUrlAddr2 참고 링크로 제공 inqCnt 인기 정책 정렬용 (선택) 삭제할 데이터 bscPlanCycl, bscPlanPlcyWayNo, bscPlanFcsAsmtNo, bscPlanAsmtNo 정부 기본계획 내부 분류번호 pvsnInstGroupCd, plcyPvsnMthdCd 내부 관리 코드 sprvsnInstCd, operInstCd 기관 코드 (기관명만 있으면 충분) sprvsnInstPicNm, operInstPicNm 담당자 개인 이름 (개인정보라 제외) rgtrInstCd ~ rgtrHghrkInstCdNm (6개) 등록자 기관 정보, 사용자에게 무의미 자격증 데이터 청킹 <contents> 정보처리기사 출제경향 &lt;실기시험 출제 경향> 정보시스템 등의 개발 요구 사항을 이해하여 각 업무에 맞는 소프트웨어의 기능에 관한 설계, ... 출제기준 참조(www.q-net.or.kr) </contents> <contents> 정보처리기사 취득방법 시행처 : 한국산업인력공단 관련학과 :모든 학과 응시가능 시험과목 - 필기 ... 실기 : 100점을 만점으로 하여 60점 이상. </contents> 자격증 관련 데이터 정제 정제할 데이터 <contents> 정보처리기사 출제경향 &lt;실기시험 출제 경향> 정보시스템 등의 개발 요구 사항을 이해하여 각 업무에 맞는 소프트웨어의 기능에 관한 설계, ... 출제기준 참조(www.q-net.or.kr) </contents> <contents> 정보처리기사 취득방법 시행처 : 한국산업인력공단 관련학과 :모든 학과 응시가능 시험과목 - 필기 ... 실기 : 100점을 만점으로 하여 60점 이상. </contents> 필터링 데이터 <infogb>출제경향</infogb> <jmfldnm>정보처리기사</jmfldnm> <infogb>취득방법</infogb> <jmfldnm>정보처리기사</jmfldnm> <mdobligfldnm>정보기술</mdobligfldnm> <obligfldnm>정보통신</obligfldnm> 삭제할 데이터 <mdobligfldcd>211</mdobligfldcd> <obligfldcd>21</obligfldcd> <item> <contents> 정보처리기사 출제기준 정보처리기사 출제기준입니다. 메뉴상단 고객지원-자료실-출제기준 에서도 보실 수 있습니다. </contents> <infogb>출제기준</infogb> <jmfldnm>정보처리기사</jmfldnm> <mdobligfldcd>211</mdobligfldcd> <mdobligfldnm>정보기술</mdobligfldnm> <obligfldcd>21</obligfldcd> <obligfldnm>정보통신</obligfldnm> </item> <response> <header> <resultCode>00</resultCode> <resultMsg>NORMAL SERVICE.</resultMsg> </header> </response> 오늘 후기 오늘도 주제 구상을 진행하였습니다. 이번에는 주제를 구상하면서 저에게 의문이 생겨났습니다. 제가 하고 있는 이 챗봇에서 과연 자격증 관련 챗봇이 필요한가. 원래 저의 의도는 보통 청년 정책을 찾는 사람은 청년이고, 이 챗봇을 찾는 사람에게 조금이라도 도움을 드리고자 자격증 관련도 넣으면 좋겠다 에서 시작하였는데, 막상 다시와 생각해보니 자격증 관련 정책들은 GPT나 타 AI에게도 학습되어 있을 확률이 높아 주제에서 제외해야할지 고민하게 되었습니다.