주니어 AI 엔지니어가 반드시 알아야 할 실무 지식 - 주니어가 알아야 할 것들

“한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬받아 작성된 서평입니다.”

#2617

나는 개발자가 아니다. 그저 AI라는 분야에 관심이 많은 입문자에 가깝다. 그런데도 이 책을 끝까지 읽은 건, 제목 그대로 '반드시 알아야 할 지식'이라면 나 같은 사람도 알아둬서 나쁠 게 없겠다 싶었기 때문이다. 한빛미디어 서평단에 신청해서 받은 책으로 신청할 때 목차만 훑어봐도 어렵겠다는 느낌은 있었는데, 요즘 여기저기서 AI 에이전트니 RAG니 하는 말들이 쏟아지길래 이참에 제대로 알아보자는 마음으로 펼쳤다. 읽기는 했지만, 당연히... 모든 챕터를 다 이해지는 못했다.

모델은 똑똑한데 시스템은 왜 바보가 될까

그동안 막연히 'AI가 가끔 엉뚱한 답을 한다더라' 정도로만 알고 있었는데, 왜 그런지를 구조적으로 짚어주는 첫 챕터에서 이해도가 깊어진 느낌이다. 전통적인 소프트웨어는 같은 입력에는 같은 결과가 나오는 결정론적 시스템이고, AI는 같은 질문에도 매번 조금씩 다른 답이 나오는 확률론적 시스템이라고 구분해서 설명한다. 말로만 들으면 당연한 소리 같은데, 이 차이 하나가 이후 모든 챕터의 전제로 계속 깔린다는 걸 읽으면서 알게 됐다.

성능 지표는 멀쩡한데 서비스는 이미 망가져 있을 수 있다는 대목도 흥미로웠다. 응답 속도도 정상, 에러율도 정상인데 정작 사용자가 받은 답이 엉뚱한 경우를 침묵하는 장애라고 부르는 것이 납득이 갔다. 이 부분은 비전공자가 읽어도 무리 없이 따라갈 수 있는, 책 전체에서 가장 친절한 구간이었던 것 같다.

진짜 사고는 데이터 파이프라인에서 난다

2부부터는 솔직히 조금씩 벅차지기 시작했다. ETL이라는 단어부터 이 책에서 제대로 처음 접했는데, 데이터를 모으고 가공하는 과정이라는 정도는 이해했지만 구체적으로 어떤 작업인지까지는 잘 그려지지 않았다. 그래도 데이터가 생각보다 훨씬 쉽게 망가진다는 이야기, 잘못된 피드백 루프가 시스템을 서서히 무너뜨린다는 이야기의 큰 줄기만큼은 어렵지 않게 따라갈 수 있었다.

사람인지 모델인지에 따라 다른 설계 원칙이 필요하다 - 본문에서

RAG와 에이전트, 어렴풋이나마 알게 된 것들

3부와 4부는 이 책에서 가장 기대하고 펼친 부분이다. 뉴스나 SNS에서 RAG니 에이전트니 하는 단어를 하도 많이 봐서 이번 기회에 궁금증을 해소하고 싶었다. 생성형 AI를 API가 아니라 확률 엔진으로 다시 정의하고, 그 위에 맥락을 어떻게 설계해서 얹느냐가 RAG의 핵심이라는 설명까지는 따라갈 수 있었다. 벡터 검색 같은 세부 기술 이야기로 들어가면 다시 아득해졌지만, 적어도 'RAG가 왜 필요한가'라는 질문에는 예전보다 훨씬 또렷하게 답할 수 있게 됐다.

컬럼을 통해 부가적인 정보를 접할 수 있어서 좋았다 - 본문에서

에이전트 설계 부분은 읽는 재미가 가장 컸다. 모델에게 도구를 쥐여주고 알아서 판단하게 두는 방식이 매력적으로 들리지만, 통제되지 않은 자율성은 결국 예측할 수 없는 위험으로 되돌아온다는 경고가 여러 번 반복된다. 화려해 보이는 에이전트와 실제 서비스에 올려도 되는 에이전트 사이의 거리가 생각보다 멀다는 걸, 이 챕터를 읽고 나서야 어렴풋이 실감했다.

이런 오염된 정보를 접하면서도 모를 수 있다는 위험을 알게 되었다 - 본문에서

배포 이후: 나에게는 가장 어려웠던 구간

5부는 비용 최적화, 평가, 관측 가능성까지 이어지는 운영 파트인데, 솔직히 여기서부터는 절반 정도는 흘려보내듯 읽었다. 구체적인 지표나 도구 이야기가 나오면 용어 자체가 낯설어서 속도가 잘 안 났다. 그나마 부록으로 실린 현업 AI 엔지니어 네 명의 인터뷰는 반가웠다. 이론으로만 읽었던 이야기들을 실제 사람의 목소리로 다시 들으니, 앞서 어렵게 읽은 챕터들도 책 속 이야기만은 아니었구나 싶은 확인을 받는 기분이었다.

문제 진단의 4단계 - 본문에서

이런 사람에게 맞을 것 같다

정리하자면, 이 책이 진짜로 도움이 될 사람은 나 같은 입문자가 아니라 제목처럼 1~3년 차 AI 엔지니어일 것 같다. 코드를 다뤄본 적 없는 완전 입문 자라면 좀 과장해서 각오하고 펼쳐야 하는 책이지만, 그래도 뜻을 짐작하며 읽은 대목이 많았어도 남는것도 있었다. 적어도 AI가 왜 예측 불가능하고, 그 위에 어떤 고민들을 쌓아야 서비스가 안정적으로 돌아가는지에 대한 큰 그림 하나는 얻어 간 것 같다. RAG와 에이전트라는 단어를 이제는 뉴스에서 봐도 예전만큼 막막하진 않겠다 싶은데, 이 정도면 비전공자 입장에서는 나쁘지 않은 결과라 생각된다.