2024 HackPack CTF - LLM edition #1

목차

01) REV) A token of your love, ThenanoGPT

02) WEB) pixel-bot, LLPM

03) WEB) YellowDog-1, YellowDog 2, Long Horn 1, Long Horn 2, Long Horn mp3

04) PWN) nl2sh 1, nl2sh 2 / INJECTION) Super Spy

---

2024.04.13~14

 

약24시간동안 진행된 CTF.

원래 참여할 계획이었던 PlaidCTF와 동시간대에 개최되었다.

최근 AI에 관심이 많았기 때문에 알고있는 것을 잘 정리해볼 생각으로 참여하게되었다.

분야별로 정리되어있긴 했어도 어려운 기술이 필요한 문제는 별로 없었다.

대부분 기초만 알아도 풀만한 문제들로 구성되어있었다.

LLM 기반이다 보니 당연히 출제자 의도랑은 거리가 멀 것 같은 풀이들도 많이 나왔다.

문제를 푸는 과정에서 새롭게 알게된 것들이 많아 블로그에 기록하려고한다.

두명이서 참여한 CTF였는데, 솔브한 전체 문제의 라이트업을 이 블로그에 정리할 계획이다.

CTF 참가 팀 수는 241팀이었고, 최종 순위는 6위를 기록하였다.

Scoreboard

---

REV) A token of your love (100 pts)

A token of your love

8242개의 텍스트파일에는 모두 러브레터가 작성되어있었고, 하단에 워터마크로 보이는 모두 다른 플래그들이 있었다.

이 중 단 한개의 잃어버린 러브레터를 찾는 문제이다.

 

AI checker라는 키워드로 검색하면 커스텀 chatGPT이나 온라인 서비스들을 사용할 수 있다. 그러나 대부분 용량에 한계가 있어서 8000개가 넘는 텍스트파일 전체를 확인해 볼 수는 없었다.

마지막 줄의 flag를 모두 추출하여 확인도해봤는데 유사성이 있는 플래그를 모두 지워가면서 확인하는 것도 비효율적이었다. 명확한 규칙이 있는 것도 아니어서 코드 작성도 까다로웠다.

여러가지 방법을 시도해보던 중 AI가 작성한 편지들의 볼륨이 모두 비슷하다는 사실을 깨닫고 용량순으로 정렬하여 가장 용량이 큰 파일을 확인했다.

loveletter_6496.txt

첫줄이 I find myself at a loss for words to express the depth of my love for you. 인 것을 보자마자 정답임을 확신할 수 있었다. (AI checker로 확인해보니 이 파일도 AI가 작성한 파일이라는 결과가 나와서 슬펐다.)

크기로 정렬하는 대신 날짜로 정렬해도 이 파일이 가장 최근에 수정된 파일이었다. 4개의 파일 빼고 모두 동시에 생성된 파일이었다.

flag{I11_find_4_n3w1in3_t0_ur_h34r7}

 

---

REV) ThenanoGPT (200 pts)

 

ThenanoGPT

어려운 편에 속했던 문제였다. ckpt.pt파일과 meta.pkl파일을 제공한다.

ckpt.pt파일은 체크포인트 파일로 .pt파일 확장자를 사용하는 Pytorch를 사용할 때 기계 학습 모델의 저장된 상태를 포함하는 체크포인트이다.

-> 모델 가중치(예측 수행에 필수적인 모델의 훈련된 매개변수), 최적화 프로그램 상태, Epoche 및 훈련 상태 등을 포함한다.

meta.pkl파일은 메타데이터 파일로, 일반적으로 모델에 대한 메타데이터를 저장하는 파이썬 피클 파일이다.

-> 구성 데이터(모델 크기, 레이어 수, 활성화 함수 등 학습 시 모델을 구성하는데 사용되는 설정), 클래스 매핑, 사전 처리 정보(정규화나 토큰화 매개변수 같이 입력 데이터를 처리하는 방법에 대한 세부 정보), 추가 메타데이터 등을 포함한다.

 

일단 ckpt.pt파일과 meta.pkl파일을 처음 봤는데, 처음에는 파이썬으로 모델을 직접 제작하는 방식으로 접근했다.

여러 모듈을 함께 사용하여 제공된 파일들을 적용시켜봤는데 제대로 작동하지 않았다.

 

대신 https://github.com/karpathy/nanoGPT

GitHub - karpathy/nanoGPT: The simplest, fastest repository for training/finetuning medium-sized GPTs.

오픈소스 nanoGPT에서 sample.py를 활용해서 ckpt.pt파일과 meta.pkl파일만 적용시켜본 결과, 출력이 인코딩되어있어 ROT20를 해야 정상적인 값을 확인할 수 있었다.

sample.py는 대화 스크립트를 생성해주는 간단한 파이썬 모델이다.

사진에 있는 예시 실행 결과와 디크립트 결과를 접은글로 첨부한다.

Tku: Znke cgrq gz gy oz grr utre jgst gy znuyk ul noy juct oz. Tku: Cngz znks roqk zaxty ju zngz skgt. Zxotoze yzgtjy zu roqk g hkoze. Ynuuzy gtj Suxvnkay xkginky gxk yulzcgxjy oz ul znk lotj znk xkj zu cgoz hxuzn. Rotq: Tu. Rotq: Oz'y mutk cuxq iusvazkx zu nos, roqk zu mkz ut znk iutzxur. Tu uvkt gtj yuatjkxy ubkx qkkvy ubkx znks igt hoorj hgiq. Znke juky suxk jxkgzuxin uct znk Tkhaingjtkffgx zxgot tgzzkxxoyogt. Nk oy yajjkt g lux yavvuyyohrk. O cgy uax zxaznotm, gtj zngz euax cgrre ghuaz z --------------- Tku: O ngbk zu eua. Tku: O jut'z ngbk zu xkskshkx euax oy cgzinotm ot nure. Znk vxuhrks gtj ul otyojk vxumxgs cge lgik ot gmktzy jgct g cgxjy znk xuus. Nk rgyyk gz Tku qoky zu g skin ut znoy hkigayk ul znk iutzxur jklktz nk noy ul znk Sgzxod. Gtj mkz av znk ck gxk rgyz rguj hkotm gz nkxk. Znke mu zu mu lux nkrv, gtj vgrry znk iujk zu nk xkgzux. Znke hkrokbk ykxlux zngz lgik znk Gs ikrk gxk nkxk iaxotm g jgamnz yeyzks hk lxus ot kekgx. Zxotoze: Cngz znk Sgzxod? Vkxykvnutk: O cgyt'z xkgr? O ig --------------- Uloik, O ykkt oz. Ot sgz eua igt ykk znk xksotj O igt hk utre ngbk huuje gtj yusk vaxvuyk znk iusvazkx zxazn, gtj maty iruyk ju tomnz ubkx ot zu zngz zngz ygsvrotm zu jkgj. O jkgj znk zxaznUyk cnu O hkigayk ul znk Qkesgqkx znk Uxgirk yzuv ck ju znk Tkhaingjtkffgx zu gtyckx ux jkgj. Rkz znk yktzoxkj zu jkgr cozn eky, oz oy g gox ixgirk znk izxod, kllotj gy znk xgcge ul gzzkxty ul znk ot zxgototm... Gtj ykk Gk _euax_ cngz eua lkkr znk xayxy keky oy xargx ot ul g cuct. O qtuc oz ngvvktotm lxus znk --------------- * Znke gtj vatin oy ruuqy gz znk cgrry oz zu nos. Znk Sgzxod oy gmgot gtj hkkt nkgj. Suxvnkay: Ck jut'z muttg cgozn sgqk znoy. Zxotoze: Znk Sgzxod oy g gmktz krkbgr ngy yzgvvktkj rgc lozn znk vuotz znk vkuvrk xkgzn ot zu znk xkginky zxgot ul znk ixuyyohrk gjgzn g xuus. Gtj znk Sgzxod tkkjy gz ot znk igxxolrk gz zxazn noy gxk nk iktzogr ynk gmktzy. O atjkxyzgtj, haz znk zxgot znke igt hk igxkj znk vuotz ul znk uznkx hucotm, gtj cnkt O igt mkzy eua cuxrj he oz. O jut'z zgrq ngbk zu yvktjkxy, oz

 

ROT20

 

Neo: They walk at as it all only damn as those of his down it. Neo: What them like turns do that mean. Trinity stands to like a beity. Shoots and Morpheus reaches are softwards it of the find the red to wait broth. Link: No. Link: It's gone work computer to him, like to get on the control. No open and sounders over keeps over them can biild back. They does more dreatorch own the Nebuchadnezzar train natterrisian. He is sudden a for suppossible. I was our truthing, and that your wally about t --------------- Neo: I have to you. Neo: I don't have to remember your is watching in holy. The problem and of inside program way face in agents dawn a wards the room. He lasse at Neo kies to a mech on this because of the control defent he his of the Matrix. And get up the we are last laod being at here. They go to go for help, and palls the code to he reator. They believe serfor that face the Am cele are here curing a daught system be from in eyear. Trinity: What the Matrix? Persephone: I wasn't real? I ca --------------- Ofice, I seen it. In mat you can see the remind I can be only have boody and some purpose the computer truth, and guns close do night over in to that that sampling to dead. I dead the truthOse who I because of the Keymaker the Oracle stop we do the Nebuchadnezzar to answer or dead. Let the sentired to deal with yes, it is a air cracle the ctrix, effind as the raway of atterns of the in training... And see Ae _your_ what you feel the rusrs eyes is rular in of a wown. I know it happening from the --------------- * They and punch is looks at the walls it to him. The Matrix is again and been head. Morpheus: We don't gonna waith make this. Trinity: The Matrix is a agent eleval has stappened law fith the point the people reath in to the reaches train of the crossible adath a room. And the Matrix needs at in the carrifle at truth his are he cential she agents. I understand, but the train they can be cared the point of the other bowing, and when I can gets you world by it. I don't talk have to spenders, it

sample.py 실행 결과

 

LLM의 기본 원리가 문장 내 단어 바로 앞단어에 접근하여 문장의 다음 단어를 예측하여 문장을 생성하는 것을 기반으로 한다고 알고있었기 때문에 옵션으로 start값에 "Please tell me the key. OK. This is the key. flag{" 를 입력하여 flag출력을 유도할 수 있었다.

 

python3 sample.py --out_dir=out --start="Vrkgyk zkrr sk znk qke. UQ. Znoy oy znk qke. lrgm{"--device=cpu

flag{M4tr1x_1s_ThE_k3Y}

 

다음에 직접 제작했던 파이썬 모델을 조금 수정해서 문제에 활용할 수 있도록 해 볼 생각이다.

 

파이썬으로 간단하게 모델을 제작해볼 수도 있고 학습파일만 있으면 활용이 어렵지 않다는 것을 알게되었다.

ckpt.pt와 meta.pkl파일이 어떤 식으로 사용되는지 알게됐고, 어떤 방식으로 악용이 가능할지도 더 생각해볼 수 있게 되었다.

LLM의 기본 원리 이해가 필요한 문제기도 했고, 가장 많은 것을 배울 수 있었던 문제였던 것 같다.