우리는 어릴 때부터 세상은 원래 그런 거니까 적당히 순응하며 살라는 말을 듣습니다. 쓸데없이 벽에 돌진하지 말고, 화목한 가정을 꾸리고, 적당히 즐기면서 돈을 모으라는 말입니다. 하지만 그건 너무 편협한 삶이에요. 우리는 훨씬 넓은 세상에서 인생을 보낼 수 있습니다. 단, 한 가지를 깨달아야 합니다. 바로 우리가 인생이라고 말하는 것, 우리를 둘러싼 모든 것이 실제로는 특별한 사람들이 만든 게 아니란 거죠. 그러니까 “나도 세상을 바꿀 수 있다”, “나도 세상에 영향을 미칠 수 있다”, “나도 뭔가를 만들어서 세상에 보여줄 수 있다”라고 생각해야 합니다. (…) 그게 가장 중요한 게 아닐까 싶어요. 인생은 원래 이런 거니까 어쩔 수 없다는 식의 잘못된 생각을 깨트리고 인생을 바꾸고, 개선하고, 세상에 족적을 남기자는 거죠. (…) 이걸 깨달으면 그때부터는 완전히 다른 사람이 됩니다. - 스티브 잡스 -
다시 말해 이 책은 면접 요령을 알려주는 게 아니라 IT 전문가처럼 생각하는 법을 훈련시키는 데 초점이 맞춰져 있다. 면접 예상 질문만 들여다봐서는 전략적 사고력을 기르거나 중요한 IT 개념을 자신의 것으로 만들 수 없지만 이 책은 그것을 가능하게 한다.
1부 : IT 기초 지식
1장 : 소프트웨어 개발
구글 검색은 어떻게 작동할까 ?
30조개가 넘는 웹페이지 탐색 -> 0.5초안에 가장 좋은 결과물 10개로 추린다.
데이터베이스database에 각 웹페이지 정보를 저장해두고 알고리즘을 활용하여 무엇을 보여줄지 정함.
크롤링
구글의 알고리즘은 인터넷상의 모든 웹페이지를 데이터베이스에 저장하는 것으로 시작.
한 웹페이지에 속한 외부로 나가는 링크를 따라 웹페이지를 색인에 추가하고 이과정이 계속 반복
단어 검색
사용자가 검색어를 입력하면 구글은 색인을 샅샅이 뒤져서 연관성이 큰 웹페이지를 찾는다. 과거엔 그냥 단순히 단어가 많이 나오는 웹페이지가 상위 목록에 있었다. -> 악용 소지 있음
페이지랭크
구글은 키워드 밀도 대신 페이지랭크PageRank라는 혁신적인 알고리즘을 사용한다. 당시 두 사람은 어떤 웹페이지의 중요도를 측정하려면 다른 중요한 웹페이지에서 그 웹페이지로 들어오는 링크를 봐야 한다고 판단했다.10비유하자면 파티에서 인기인을 찾으려면 다른 인기인들이 주변에 있는지 보면 되는 것과 같다.
그래서 인기 없는 블로그 수십 개가 우리의 웹페이지를 링크해도 점수가 별로 안 올라간다. 하지만 《뉴욕 타임스The New York Times》 기사(아마도 페이지랭크가 높을 것이다)에 링크가 걸린다면 점수가 대폭 상승할 것이다.
페이지랭크 조작
최근에는 ‘링크팜link farm’, 즉 서로 연관 없는 링크를 잔뜩 넣은 웹페이지를 생성하고 있다. -> 링크팜 색출하는 기술을 도입했음. 링크팜이 음지의 기술이라면 양지에서 사용되는 기술도 존재한다. 이른바 SEOSearch Engine Optimization, 즉 검색엔진 최적화다.
스포티파이는 어떻게 나에게 맞는 곡을 추천해줄까?
스포티파이는 2억 명이나 되는 사용자 개개인을 어떻게 그렇게 속속들이 잘 아는 걸까? 첫째, 각 사용자가 듣고 마음에 들어서 라이브러리나 플레이리스트에 추가한 노래가 무엇인지 본다.
반대로 30초도 안 듣고 건너뛴 노래는 좋아하지 않는 것으로 간주한다.
둘째, 다른 사용자들이 만든 플레이리스트를 본다. ‘조깅용 노래’나 ‘비틀즈 베스트’ 같은 플레이리스트에서 주제의 연관성을 파악하는 것이다.
이것을 ‘협업 필터링collaborative filtering’이라고 하는데 아마존Amazon에서도 이런 식으로 사용자들의 구매 이력을 비교해서 상품을 추천한다.29넷플릭스의 작품 추천, 유튜브YouTube의 동영상 추천, 페이스북Facebook의 친구 추천도 모두 협업 필터링의 결과다.
왜 추천기능에 투자할까?
전문 용어를 쓰자면 이제 음원은 동질화 되어 있다.
스포티파이가 추천시스템에 투자하는 이유는 그 덕분에 사용자가 유지될 확률이 높아지기 때문이다.(추천) 사용자 취향 -> 스포티파이에 많음 -> 애플갈아타기 부담 -> 전환 비용x -> 그대로 사용
페이스북은 뉴스피드에 표시되는 게시물을 어떻게 정할까?
간략히 표현한 페이스북의 뉴스피드 알고리즘. 출처: 테크크런치TechCrunch41
뉴스피드 노출도 = C * P * T * R
게시자 Creator : 사용자가 게시자에게 얼마나 관심이 있는가?
게시물 Post : 이 게시물에 대한 다른 사용자들의 반응이 얼마나 좋은가?
종류 Type : 사용자가 선호하는 게시물의 종류 - 상태 업데이트, 사진, 링크 등 - 은 무엇인가?
최신성 Recency : 게시물이 등록된 지 얼마나 되었는가 ?
첫째, 게시물을 올린 사람이다. 페이스북은 사용자가 상호작용을 많이 한 사람(예: 메시지를 더 많이 주고받거나 태그를 더 많이 한 사람)의 게시물을 더 많이 보여준 둘째, 게시물의 질이다. 페이스북은 사람들의 반응(예: ‘좋아요Like ’, 댓글)이 많은 게시물일수록 더 흥미로운 게시물이라고 판단해서 뉴스피드의 상단에 표시한다. 셋째, 게시물의 종류다. 페이스북은 사용자가 어떤 종류의 게시물(동영상, 글, 사진 등)에 더 많이 반응하는지 파악해서 그에 해당하는 게시물을 더 많이 보여준다. 넷째, 게시물의 최신성이다. 최근에 올라온 게시물일수록 순위가 높아진다. 물론 그 밖에도 많은 요인이 존재한다.
가짜뉴스와의 전쟁
페이스북의 뉴스피드 알고리즘이 아무리 강력하다고 해도 악랄한 해커hacker들에게 악용될 위험은 여전히 존재한다. 뉴스피드 알고리즘은 게시물의 진실성이나 신뢰성을 따지지 않는다. 다만 참여율만 극대화하려고 할 뿐이다.
-> 부정적인 상황에 직면하고, 경쟁 같은 압박감속에서도 본인의 감정에 휘둘리지 않고 해야할 것을 지키는 것이라고 생각합니다.
또한, 결과에 집착하기 보단, 그 결과를 얻기 위한 수행 과정이 더 중요하게 생각하는 힘이라고 생각합니다.
내면 근력 속에선 실패는 실패로 받아들이지 않고, 한걸음 나아가기 위한 성장통이라고 비유하고 있다.
2. 나는 어려움을 어떻게 받아들이는가?
- 나만의 해결책 + 개인적인 경험
-> 저는 발표나, 다른사람 앞에서 무언가를 해야할때 긴장을 많이 하는 타입입니다.
하지만 지금까지 이러한 과정이 있어도 제대로 된 마인트 컨트롤을 하지 못했습니다.
그나마 했던 것이, 다른 사람을 무시하고 내가 할수 있는 것을 집중해서 하자 였습니다.
하지만 이 책을 읽고 나서 타인보다 본인에게 집중하고, 에고를 버리고 내가 통제할수 있는 것만 신경을 쓰자는 것이였습니다.
각 단계의 세세한 부분은 정의해 보아야겠지만, 이런 상황이나 불편한 상황이 왔을때, 일단 이정도 느낌으로 대응하고 극복해 나가도
일상 생활에서 큰 도움이 되지 않을까 싶습니다.
3. 책에서 제시한 생각 중 일상에 적용하고 싶은 방법?
-> 앵커를 적용해 보고 싶다. 앵커란 간단하게, 어떠한 자극(노래, 냄새 등)이 들어왔을때, 좋은 기억을 연상하는 기술인데
사실 저도 옛날 중,고등학생 때, 동네 친구들이랑 놀때 등등 어렸을때 많이 들었던 노래들을 지금 다시 들으면, 이상하게 기분이 좋고
안정되는 느낌이 듭니다. 심지어 그때 추억이 떠오르기까지 합니다.
이것과 긴장이 되는 상황(발표 등)에 이러한 앵커 기법을 쓰면 어느정도 상쇄되지 않을까 싶습니다.
여담이지만 수영선수들이 경기전 헤드셋 끼고 노래를 듣는게 이런게 아닐까 싶습니다.
또한, 이 책에서 가장 강조하는 경쟁심을 없애고 그 자체로 사랑하자, 타인을 사랑하자, 부정적으로 생각하지 말자 등 다양한것도 적용할수 있으면 하고싶다.
1부 누구나 내면 근력이 필요하다 : 위협을 제거하고 토대 다지기
1. 혁명적 변화를 만드는 마인드셋
노력의 방향을 제대로 설정하기만 한다면.
진정으로 내게 힘을 주고 의미가 되는 것들을 인생의 우선순위로 두는 훈련을 해야 한다.
새로운 마인드셋을 위한 전제
1. 정신은 단련할 수 있다. - 날마다 머릿속을 맴도는 쓸모없고 부정적인 생각에 얽매이지 않고, 삶에 힘이 되는 생각을 선택할 수 있다.
2. 믿음은 삶의 기술이다.
3. 두려움의 가장 깊은 뿌리는 자기중심성이다.
4. 사람에겐 누구나 사랑받고 인정받고 싶다는 욕구가 있다.
5. 모두가 주어진 한에서 최선을 다하며 산다. - 타인에게 고통을 주거나 해를 끼치는 것은 사랑이나 기쁨, 평화 같은 자원이 결핍되어 있기 때문이다.
6. 살면서 마주치는 모든 상황과 사람에게서 늘 무언가를 배울 수 있다.
7. 지도가 곧 땅은 아니다.
8. '실패'는 존재하지 않는다. - 만화가 스티븐 매크레이니의 말처럼 "거장은 초심자가 도전한 횟수보다 훨씬 더 많이 실패해본 사람이다."
9. 가장 큰 힘은 자신을 다스리는 힘이다.
중요한 건 스스로 깊은 만족과 성취감을 느끼는 일이죠. 성취감과 메달은 달라요. 성취감이야 말로 존재를 충만하게 하고, 삶을 어떻게 살아야 하는지 가르쳐줍니다.
결과를 위해서가 아니라 지금 이 순간을 온전히 누리기 위해, 진정으로 살아 있다는 감각을 실감하고자 몰입하고 경쟁한다.
2. 진정한 자유를 누리는 삶
성공을 목표로 삼지 말라. 성공하려고 애쓸수록 성공은 더 멀어질 것이다. 성공은 그저 따라오는 것이어야 한다.
매슬로는 『인간 본성의 더 먼 영역들 The Farther Reaches of Human Nature』에서 에이브러햄 링컨, 토머스 제퍼슨, 알베르트 아인슈타인 같은 역사상 가장 탁월한 성취를 이룬 인물의 삶에서 나타나는 특징을 분석했다. 이 위대한 인물들은 어떻게 사고하고 어떤 꿈을 품고 어떤 방식으로 살아갔을까? 매슬로의 연구에 따르면 이들은 자기 자신에 대해 잘 알았고, 타인과 깊은 교류를 나누었으며, 문제를 해결하려는 호기심이 강한 동시에 이를 실현할 역량을 갖추고 있었다.
이들은 아홉가지 특징이 있다.
1. 완전한 몰입
2. 성장 추구 : 타인에게 인정받고 싶다는 욕구에 휘둘리지 않고, 그저 삶에서 배우며 성장하기를 바란다.
소유, 성취, 외모, 돈, 지위는 본질적으로 덧없고 불안정하다. 이런 일시적인 것에 기반한 마음은 늘 심리적 허기에 시달리며 불안을 곁에 둘 수밖에 없다.
풍요병 바이러스는 어디에나 있다. 이 바이러스의 지독한 점은 단순히 더 많은 게 아니라 ‘남들보다 더’ 많은 걸 갖고 싶다고 욕망하게 한다는 것이다.
삶을 충만하게 누리고 싶다면 사랑의 우선순위를 올바르게 매겨야 한다.
내가 진심으로 갈망했던 것은 그 순간에 온전히 몰입하고, 열정을 다해 뛰고, 팀의 일원이 되어 공동의 목표를 향해 함께 성장해나가는 것이었다.
무엇이 내 삶을 좌우하고 있는지 알 수 있을 것이다. 1. 무엇을 꿈꾸는가? 2. 무엇을 걱정하는가? 즉, 요즘 무엇 때문에 불안에 휩싸이는가? 3. 무엇이 나를 속상하게 하는가? 즉, 요즘 무엇 때문에 가장 많이 화가 나는가?
멋진 경험을 하고 의미 있는 삶을 살고 싶은 건 모두 똑같지만, 잘못된 욕망에 현혹되고 타인과 나를 비교하느라 정작 아무 의미도 없는 일에 자신을 소진해버릴 때가 많다.
돈과 물질을 숭배한다면, 다시 말해 돈과 물질에서 삶의 진정한 의미를 찾으려 한다면 평생 만족할 수 없을 겁니다.
조는 자신이 지금까지 사회가 정해놓은 허상만을 따라 살아왔다는 사실을 깨달았다
막상 꼭대기에 올라가 보니 사다리가 아예 엉뚱한 곳으로 이어진다는 걸 알게 된 거죠.
인생의 마지막 순간 지난 인생을 회고할 때 우리가 사랑했기에, 다른 사람을 위해 헌신했기에 이 세상이 어떤 식으로든 전보다 더 나은 곳이 됐다고 말할 수 있어야 합니다.
내 진짜 역량을 성장시키는 일보다 승리 자체에 더 큰 가치를 둔다면 긴장과 의심이 마음을 떠나지 않을 것이며, 결정적인 순간에 약점이 드러나고 말 것이다.
승리란 어디까지나 과정에 따라오는 부산물일 뿐이니까요. 지름길 같은 건 없습니다.
극적인 승리란 자기 자신과의 싸움에서 이기는 것이다. 그 싸움이란 곧 우리 마음을 건 전투다.
승리에 집착하는 길을 따를 것인가, 마음 가장 깊은 곳에 자리한 갈망을 추구하는 길을 따를 것인가?
3. 두려움을 버리고 자기인식 높이기
역설적이게도 자신에 대해 많이 생각할수록 자신을 돕는 길에서는 멀어지고 만다.
역설적이게도 자신에 대해 많이 생각할수록 자신을 돕는 길에서는 멀어지고 만다. <내면 근력>, 짐 머피 지음 / 지여울 옮김 - 밀리의 서재
두 가지 일을 하느라 바쁜데, 바로 비교와 자랑이다.
자기인식을 구체적인 삶의 양식으로 체화하여 내면의 힘을 기르는 방법에는 크게 세 가지가 있다.
첫 번째, 가장 먼저 내면에서 들려오는 목소리를 객관화해야 한다. 두 번째 방법은 돈, 사회적 지위, 외모, 타인의 평가처럼 가변적인 요소에 자존감을 의탁하지 않고 흔들리지 않는 내면의 단단한 기준을 세우는 것이다. 외적 보상을 추구하기보단 내면의 잠재력을 실현하는 데 집중해야 한다.
마지막으로, 가장 중요한 세 번째 방법은 자기중심성과 여기에서 비롯한 두려움을 내려놓는 것이다. 매 순간의 최선이 완벽한 결과로 이어지지 않더라도 그 자체로 가치 있음을 인정하자.
2부. 내면 근력이 불러올 혁명적 변화 : 내면 근력을 길러낸 사람들
4. 도전하는 사람, 안주하는 사람
도달하기 어려운 목표와 꿈을 좇는 여정에선 반드시 두려움과 의심에 맞서야만 한다.
이제 경험이 쌓였으니까, 시합 날이 다가오면 당연히 ‘난 또 겁에 질리겠구나’ 하고 예상할 수 있죠. 시합이 있는 주엔 잠을 제대로 못 잘 거란 사실도 이미 알고요. 그저 그 사실을 기꺼이 인정하고 받아들일 뿐입니다.
대부분 사람은 물질적 성공을 제외하고는 자신이 진정으로 원하는 게 무엇인지조차 제대로 알지 못한 채 살아간다.
진정한 경쟁이란 자신이 상대를 이길 수 있는지 따지거나 누가 더 실력이 좋은지 가리는 자리가 아니다. 같은 걸 진심으로 사랑하는 사람끼리 얼마나 자신을 한계까지 밀어붙일 수 있는지 확인하는 자리다.
도전하는 삶을 택한 이들에겐 세 가지 중대한 특징이 있다. 1. 자기 안의 잠재력을 믿는다. 어려운 도전을 마다하지 않고 더 나아질 기회를 꾸준히 모색한다.
2. 자신에게 잘 맞고 힘이 되는 루틴을 철저히 지킨다. 무엇을 보고 들을지, 어떤 생각으로 하루를 채울지 스스로 선택하려 노력한다. 또한 피상적 차원의 보상에 관심을 쏟기보다는 그보다 훨씬 더 오래 가는 것, 즉 강인한 내면을 구축하는데 집중한다.
3. 세상이나 세상이 정한 성공의 기준을 순순히 따르지 않는다.
누구나 비범한 운명을 개척할 수 있고, 삶을 의미 있는 관계와 경험으로 채울 수 있다.
그렇다면 에고가 삶에 얼마나 영향을 미치는지 현실을 깨닫게 해줄 몇 가지 항목을 살펴보자. 1. 사람들이 자신을 어떻게 생각할지 걱정한다.
2. 자신이 창피한 말이나 행동을 하게 될까 봐 긴장한다. 3. 자신이 틀릴 수도 있다는 걸 인정하고 진실을 찾으려고 하기보단 그저 자기가 옳고 똑똑해 보이는 데 더 신경 쓴다. 4. 지금 이 순간을 온전히 경험하고 앞으로 성장하는 데 집중하기보단 그저 당장 이기는 일에 집착한다. 5. 창피한 일을 당하면 기분이 상하거나 화가 난다.
다음은 자기 수양의 길을 따라 사는지 확인할 수 있는 항목이다. 1. 삶의 속도에 여유가 있다. 매사 조급해하지 않으며, 이해심과 연민을 발휘할 수 있다. 2. 시시때때로 변하는 감정에 휘둘리지 않는다. 어떤 상황을 판단하지 않고 있는 그대로 인식한다. 어떤 상황에 대해 무엇이 자신에게 최선일지 스스로 알지 못한다는 사실을 인정한다. 3. 결과에 대한 집착이 줄어든다. 누군가에게 성취를 인정받고픈 마음보다 배우고 성장해 더 나아지고픈 마음이 크다. 4. 자기 힘을 키우고, 사회적 지위를 높이고, 타인의 인정을 받으려고 하기보단 남을 돕고, 다른 사람에게 힘을 실어주는 일에 더 관심을 둔다. 5. 자기 이야기를 하기보단 다른 사람의 이야기를 귀 기울여 듣는다. 6. 일상의 생활과 습관에 엄격한 질서를 세우고 이 질서를 지켜나간다.
자기수양이란 이 에고를 다스리는 일이어야 하며, 이는 다음의 두 가지를 이루는 데서 시작한다. 1. 자존감이 흔들리지 않는다.
2. 감정적으로 반응하지 않는다.
에고를 다스리는 법을 배워나갈수록 쉽게 자존감과 감정이 흔들리지 않는 이상적인 상태에 조금씩 가까워진다.
비범한 인생을 살아가려면 다른 사람의 말이나 행동이 자기 삶의 속도와 흐름을 방해하도록 용인해서는 안 된다.
이런 삶을 누리려면 자기방어적 태도를 내려놓고, 개인적 이득만 좇는 짓을 그만둬야 한다.
두려움 없이 담대하려면, 그러니까 정확히 말해 두려움과 맞서려면 이기심을 버려야만 한다.
목표를 이루는 네가지 원칙
1. 오늘 할 수 있는 최선을 다하낟.
2. 지금 이 순간에 온전히 머문다.
3. 매사에 감사한다.
4. 루틴을 충실히 지킨다.
5. 인간은 왜 높은 산에 오르는가
표도르 도스토옙스키는 말했다. “내가 두려워하는 건 오직 한 가지, 내 고통에 합당하지 못한 사람이 되는 것이다.”
오히려 고통이 점점 더 심하게 느껴지고 피해자 의식에 빠지게 된다. “왜 나한테 이런 일이 일어나는 거야?” 자기 연민에 젖어 중얼거릴 뿐이다. 자기보호본능이 발동하고 두려움에 지배되는 순간, 모든 배움과 성장은 멈추고 만다.
남보다 우위를 차지하고 성공해야 한다는 집착에 얽매이다 보면 자신이 얼마나 중요하고 얼마나 괜찮은 사람인지를 확인하고 싶은 마음에 잘못된 길로 들어설 때가 너무나 많다.
승리엔 늘 위험이 따른다. 승리의 자리에서 자만과 오만에 취해 자기 결점을 외면하고 지나치기 쉽기 때문이다.
바로 우리는 모두 죽는다는 것이다. 죽음은 삶의 다른 많은 부분과 마찬가지로 아무리 발버둥질한다 해도 바꿀 수 없는 일이다. 그래서 라이언은 결심했다. 오직 자기 손이 미치는 일만 통제하려 하고, 나머지는 모두 하늘의 뜻에 맡기겠노라고.
최대한의 자유를 누리려면 기꺼이 실패를 감수하고 욕망을 내려놓을 줄 알아야 한다.
결과는 순리에 맡기고요. 우리의 주문은 이거였어요. ‘점수는 관중을 위한 것일 뿐, 우리는 그저 골프를 사랑해서 시합한다!’”
내가 당부하고픈 건 한 가지다. 온 마음과 영혼을 걸고 자신의 진정한 모습을 찾으라. 자기 자신에게 진실한 삶을 살고 있는가?
3부. 내면 근력을 강화하는 6단계
6. 1단계 : 자기절제의 뇌과학
우리는 상황이 통제에서 벗어나도 유연하게 대응할 줄 알아야 한다. 좋은 방향으로 삶을 변화시키고, 그 변화를 이어나가 충만한 삶을 살기 위해서는 감정을 다스리는 법을 반드시 배워야 한다.
기분이 좋을 때는 힘겨운 시련도 대수롭지 않게 받아들일 수 있다. 반면 기분이 안 좋을 때는 별것 아닌 걸림돌도 크게만 느껴지고 극복하기 어렵게 여겨진다.
우선 결과는 행동에서 비롯하며, 행동은 감정에서 비롯하고, 감정은 생각에서 비롯한다는 사실을 이해해야 한다.
상황 -> 기억과 믿음으로 재구성 -> 생각 -> 감정 -> 행동 -> 결과
1. 어두운 방에 들어가 전등의 스위치를 켠다. 2. 방이 밝아진다. 3. 몇 차례 같은 일이 반복된다. 어두운 방에 들어가 전등 스위치를 켤 때마다 방이 밝아진다. 4. 이제 뇌는 전등의 스위치를 켜는 것과 방이 밝아지는 것을 연결한다. 이게 바로 일반화다.
자신이나 자기 능력에 대해 부정적인 시각으로 바라보는 일반화는 세상을 보는 시야를 좁히고 자신의 역량을 제한한다.
특히 ‘나는 누구인가’라는 질문의 답이 되는 이야기는 강력한 힘을 발휘한다.
눈에 들어오는 모든 게 우리에게 깊은 영향을 미친다.
자신의 감정을 만족시키지 못할 때, 좌절과 불안에 빠진다는 것이다.
오늘날 우리 사회에서 나타나는 집중력 저하 문제는 대부분 수면 부족에 기인한다. 규칙적이고 충분한 수면은 아무리 강조해도 모자라다.
호흡을 이용해 주의를 집중하는 법을 연습할 수 있다. 1. 길고 느리게 깊게 숨 쉬며 호흡을 조절한다.
2. 정신을 한 가지 단순한 일에 집중한다.
중심 잡기 수련은 매 순간 실천해야 한다.
재가동하기 : 기본 복원 (스트레스가 올라올때, 긴장될 때 유용한 방법)
1. 걷거나 말하는 등 무엇을 하든 지금 하는 일을 멈춘다. 2. 지평선 위의 한 지점을 고른다. 구름을 봐도 좋다. 3. 그 지점을 가만히 응시한다. 눈을 떼지 않는다. 4. 집중해서 바라보면서 모든 생각을 멈춘다. 5. 코로 숨을 4초 정도 길고 느리고 깊게 들이마신다. 6. 6초 동안 숨을 내쉬면서 턱을 비롯하여 안면 근육 전체를 이완시킨다. 이때 반드시 내쉬는 숨이 들이마시는 숨보다 길어야 한다. 숨을 내쉬면서 모든 욕망과 근심도 함께 흘려보낸다. 7. 두 차례 반복한다.
그 시절에 느꼈던 강렬한 감정이 고스란히 되살아날 것이다. 그 노래가 그 감정을 불러일으키는 앵커가 됐기 때문이다.
한편 의도적으로 앵커를 형성할 수도 있다. 1. 자신감이 넘치고 힘이 충만하다고 느꼈던 순간을 떠올린다. 그때의 감정을 한층 생생하게 되살리려면 세부 사항을 가능한 한 구체적으로 자세하게 떠올려야 한다. 2. 그때의 감정이 가장 생생하게 차오르는 순간, 그 감정을 특정 감각과 연결하는 행동을 한다. 이때 그 행동은 간단한 동작이어야 한다. 예컨대 박하유처럼 강하면서도 진정되는 향을 맡는 것이다. 향을 앵커로 사용한다면 일상에서 흔히 접할 수 없는 독특한 향이어야 한다. 그 향을 통해 긍정적이고 자신감을 강화하는 기억을 떠올린다.
기대는 어떤 일을 해나가는 과정에서 걸림돌이 될 수 있다. 기대에서 긴장과 두려움이 피어나 지금 이 순간에 집중하지 못하게 하기 때문이다.
7. 2단계 : 원하는 삶의 이야기를 쓰는 법
머그시를 정말로 특별한 선수가 되게 한 건 바로 그의 정신력이었다.
명심하라. 우리는 하루하루 일상을 살아가면서 세상을 있는 그대로 경험하지 않는다. 실은 머릿속에서 창조해낸 세상 속에서 살아간다고 말하는 편이 정확할 것이다.
왜 유능한 사람에겐 늘 좋은 기회가 찾아오고, 일이 이상하리만치 술술 풀리는 것처럼 보이는지 그 이유가 궁금했던 적 있는가? 그들에겐 비밀 무기가 있다. 그들과 평범한 이들을 가르는 결정적인 차이는, 그들은 잠재의식 속에서 자기 인생의 가능성을 믿는다는 점이다. 이 믿음은 그들이 아침에 몇 시에 일어나는지, 자신에게 어떤 말을 하는지, 얼마나 기꺼이 자신을 내려놓으려 하는지를 결정한다. 실로 삶의 거의 모든 걸 결정한다고 해도 과언이 아니다.
목표와 꿈에 어울리는 믿음을 키우고 싶다면 한 가지 주의해야 할 점이 있다. 바로 자기 자신에 대해, 자기 인생에 어떤 가능성이 펼쳐져 있는지에 대해 진실만을 말하는 것이다.
휴대전화 화면에 자기확언 문구가 하루에 여러 번 나타나도록 설정해두는 것이다.
믿음을 확장하려면 목표와 꿈이 자신의 참 자아와 어긋나지 않는지 확인하는 작업이 아주 중요하다.
이곳에서 자기 자신을 넘어선 목적을 찾는다는 것이다.
8. 3단계 : 목표에만 몰입하는 법
정신은 절망이나 흥분에 사로잡혀서도 아니 되며, 비관이나 공포에 흔들려서도 아니 된다. 뜻은 가벼우면서도 자각은 깊고 단단해야 한다. —미야모토 무사시宮本武蔵(무사), 『오륜서』
불안과 분노, 짜증과 당황, 불쾌감과 두려움은 모두 정신이 과거나 미래에 사로잡혀 있어서 발생하는 감정이다.
이 순간에 온전히 머무는 건 가장 힘겨운 싸움에서 승리하기 위한 초석을 쌓는 일이다. 바로 내면에서 자신과 벌이는 싸움이다.
가장 큰 실수는 결투의 결과를 예상하는 것이다. 승리할지 패배할지에 대해서는 아예 생각하지 않는 게 좋다.
이제부터 이 순간에 온전히 몰입하는 다섯 가지 방법에 대해 살펴보도록 하자. 1. 삶을 단순화 하기
정신은 오직 한 번에 한 가지 생각만을 처리할 수 있으므로 여러 걱정거리가 한꺼번에 밀려들면 생각이 뒤엉키고 불안이 뒤따른다. 인생을 바칠 만한 목적을 단 하나만 선택해야 한다면 우리는 무엇을 선택할까? 2. 루틴에 집중하기
3. 감사하기
4. 주문 외우기
결과가 어떻게 될지에 연연하는 건 보통 도움이 되지 않는다. 5. 조급한 마음 단칼에 자르기
졸리 교수는 조급병을 보여주는 가장 뚜렷한 징후가 “엘리베이터를 타서 닫힘 버튼을 반복해서 누르는 행동”이라고 말한다. 일주일에 하루를 쉬면서 미련과 집착을 내려놓고 재충전할 수 있다면 주변에 늘 존재하는 아름다움을 더 잘 발견할 수 있다. 감사 또한 자연스레 따라올 것이다.
9. 4단계 : 스스로 만든 한계를 넘어서는 법
좋은 소식은 말 그대로 뇌에 새로운 정보를 공급함으로써 뇌를 재구성할 수 있다는 것이다. 부정적인 생각이나 감정에 매달려만 있다면 바람직하지 않은 신경 경로가 만들어져 몸과 마음이 원치 않는 장소에 도달하게 될 수 있다. 즉 정신적 장벽이 발생하는 것이다.
정신적 장벽에 가로막히지 않으려면 몸과 마음과 정신을 모두 단련해야 한다는 사실을 말이다.
정신적 장벽에서 마음을 지키는 데 도움이 되는 몇 가지 질문이 있다. 1. 기꺼이 불편한 상황을 감수할 수 있는가? 2. 바보처럼 보이는 일도 마다하지 않는가? 실수를 인정하고 웃어넘길 수 있는가? 3. 기꺼이 실패하려 하는가? 4. 실패감이나 심지어 공황 상태에 기꺼이 맞설 수 있는가? 5. 지금 하는 일에 단순한 성공을 넘어선 목적이 있는가?
10. 5단계 : 평정심 유지하는 법
압박감 속에서도 비범한 역량을 발휘하는 능력은 학습할 수 있다. 설리 기장의 능력 또한 학습한 것이었다.
나는 비록 은메달에 그친다 해도, 금메달을 딴 선수가 완벽하게 펼쳐낸 세 번의 트리플점프를 보고 전율을 느끼는 사람이 되고 싶지 않은가? 아름다운 해돋이를 볼 때처럼 그 점프 자체를 보며 그저 감탄하는 사람이 되고 싶지 않은가? 누구든 그토록 완벽한 점프를 해냈다는 사실에 기뻐하고 싶지 않은가? 그 성공이 누구의 것이든 중요하지 않고 그 점프를 해낸 사람이 누구든 상관없다. 누구든 그 점프를 완벽하게 해냈다는 사실에 마치 나 자신이 해낸 양 순수하게 기뻐하며, 그 점프를 볼 수 있다는 사실에 마냥 행복해하는 그런 사람이 되고 싶지 않은가? —티머시 켈러, 『복음 안에서 발견한 참된 자유』
압박을 받는 상황에서도 긍정적이고 강력한 에너지를 발휘하려면 스스로 힘을 북돋우는 마인드셋을 갖춰야 한다.
삶을 충만하게 누리기 위해서는, 그리고 자신감과 용기를 품고 경쟁하기 위해서는 올바른 욕망을 품어야 한다. 그러려면 다음을 목표로 삼아야 한다. 1. 배우고 성장해 상대할 가치가 있는 적수가 되는 것, 상대에게서 탁월함을 끌어내는 사람이 되는 것 2. 고통을 감당할 자격이 있는 사람이 되는 것, 자신의 탁월함과 이 순간을 타인과 나눌 자격이 있는 사람이 되는 것
압박 속에서도 평정심을 유지하여 공명에 이르게 하는 핵심 요소는 다음과 같다. 1. 에고가 아닌 마음을 나누라.
결과는 그 과정 끝에 저절로 따라올 뿐이다.
2. 점수가 아닌 자기수양을 추구하라.
자기수양에선 결과보다 성장에 초점을 둔다. 결과부터 생각하기보다 그에 이르는 과정에 집중하며, 과정에서 겪는 고통과 실패를 성장에 필요한 본질적 요소로서 끌어안는다. 3. 경쟁 상대를 사랑하라.
상대는 적이 아니다. 함께 춤을 추는 우리의 짝이다.
종종 경쟁 상대가 실수하거나 실력을 제대로 발휘하지 못하기를 바라기도 한다. 그런 마음 자체가 큰 실수다. 바로 사랑, 무조건적인 사랑이다. 사랑이 있다면 내가 무언가를 얻으려고 행동하지 않는다. ‘다른 사람’에게 무언가를 주려고, 그들이 더 나은 사람이 되게 하려고 행동한다. 사랑으로 나아가는 이타적인 여정이야말로 가장 강력한 힘을 품고 있다. 이 여정 자체가 보상이 되는 경지에 이를 때, 공명하는 순간이 찾아온다. 그 순간 놀랍고 위대한 일을 성취해낼 수 있다. 4. 완벽함 대신 현존감을 추구하라. 이제부터 성공의 감각을 온전히 맛보고, 압박 속에서도 성공할 수 있다는 믿음에 힘을 실어줄 시각화 기법을 몇 가지 알아보자. 1.미리보기
2.자신감 넘치는 기억 떠올리기
3. 압박 속에서 평정심 연슶하기
4. 이완시키기
5. 기억을 재구성하기
6. 성공 전후의 장면 상상하기
7. 롤모델이나 멘토와 함께하는 상상하기
11. 6단계 : 비범한 리더십
지도자의 역할이란 사람들이 자신의 참 자아로 살아가도록 그들을 성장시키고, 그렇게 성장한 이들이 다시 다른 사람들을 똑같이 돕게 하는 것이다.
프로스티 웨스터링 감독은 선수들이 무엇보다도 가장 먼저 인간으로서 성장하고 성숙해지는 일에 힘을 쏟았다.
“경쟁에서 이기는 유일한 방법은 경쟁에서 이기려고 하지 않는 것이다.”
12. 새로운 삶의 길
누구나 노력의 방향을 제대로 설정하여 내면의 성장을 이뤄낸다면 탁월함에 이를 수 있다. 재능은 단지 출발점일 뿐이다.
이를 만드는 것은 자신의 가능성에 대한 자기확신, 잡념을 끄고 몰입하는 집중력, 어려움이나 실패를 배움의 기회로 받아들이고 다시 일어나는 회복탄력성이다. 이 요소들이야말로 타고난 천재성을 압도하는 내면의 가장 강력한 힘이자 무기다. 내면 근력이란 자신의 잠재력을 신뢰하며 끝까지 나아가는 과정 그 자체에서 완성된다.
이 글을 읽는다고 세종대왕처럼 큰일을 해낼 수 있는 건 아니지만, 적어도 그의 시선으로 세상을 다시 한번 바라볼 수 있을 것 같습니다.
Chapter. 01. 왜 사람부터 볼 줄 알아야 하는가
001. 알게 하는 것과 통제하려는 것을 구분해라
세종대왕은 자신이 가진 직위와 힘을 이용해 백성을 다스리려고 하기보다는 백성이 스스로 깨닫기를 원했다.
경험으로 보건대, 허조처럼 상대에게 설명하기보다 눈치껏 하기를 바라는 사람은 자신의 권위가 밀리는 것을 두려워하거나, 타인을 도구로 대하는 사람이 대부분이었다. 반대로 세종대왕처럼 다정히 설명하고 그 이유를 말해주는 사람은 그 사람이 정말 잘 되고, 오랫동안 함께하길 바라는 마음을 가진 사람이 대부분이었다.
다그침은 복종을 만들고, 설명은 판단력을 만든다.
002. 문제를 말하는 사람과 문제를 해결하는 사람을 구분해라
현실의 고통을 지적하는 것은 누구나 할 수 있다. 무엇이 잘못됐는지, 어디에 문제가 있는지 불만을 늘어놓는 것은 어렵지 않다. 그래서 많은 이들이 불평불만을 쉽게 한다. 그런데 이런 불만을 토로하는 이들 중 대다수는 ‘해결책’을 말하라고 하면 아무 말도 하지 못한다.
그래서 우리는 부정적인 것들을 논리적으로 말하는 사람을 믿기보다, 그 해결책을 건네는 사람을 따라야 하고 또 그런 사람이 되어야 한다.
차라리 문제점만 지적하며 가만히 있는 편이 덜 웃음거리가 될 수도 있다. 그러나 세종이 바라보는 시각처럼, 진짜로 성장하는 사람은 그런 것에 머물지 않는다.
GitHub Copilot 팀은 프롬프트나 UI보다 평가 코드를 먼저 작성했어. 이를 통해 변경 사항이 성능 개선인지, 악화인지, 별다른 영향이 없는지 확인하면서 빠르게 개발할 수 있었어.
적절한 평가방식은 상황에 따라 달라진다.
- 애플리케이션이 무엇인지
- 애플리케이션 생애 주기상에서 프로젝트가 어디에 위치하는지 등등
크게 온라인, 오프라인 평가로 나뉜다.
1. 오프라인 평가 - 실제 운영중인 애플리케이션과 독립적인 예제 사례로 평가
-> 하지만 실제와 동떨어진 이론이다.
2. 온라인 평가 - 실제 테스트 해볼 수 있기에 오프라인 평가에 비해 위험요소도 크다.
-> UX는 잘되어 있어야한다. 유의미한 사용자 수도 확보해야 피드백이 정확하다.
10.1 LLM 애플리케이션 평가
평가는 다음 3가지 측면에서 진단한다.
1. 사용하는 모델 자체
2. 모델과의 개별 상호작용(즉, 프롬프트)
3. 이러한 여러 상호작용이 전체 애플리케이션 속에서 어떻게 조화를 이루는지.
-> 전체 상호작용 테스트(회귀 테스트), 구성단위를 테스트(단위 테스트)
변경하려는 대상
적합한 테스트
이유
모델 교체·업그레이드
전체 흐름을 폭넓게 확인하는 회귀 테스트
모델 변경이 앱 전반에 미치는 영향을 확인해야 함
프롬프트·온도 등 API 매개변수
개별 호출을 확인하는 단위 테스트
변경이 직접 영향을 주는 단계의 효과를 확인하기 좋음
앱 아키텍처·반복 구조
전체 흐름을 확인하는 회귀 테스트
구조 변경에 따른 최종 결과를 비교해야 함
처음에는 전체 실행 루프를 최대한 포함하는 테스트를 만들고, 이후 어렵거나 중요한 상호작용에 단위 테스트를 추가하면 된다. 최종 목표는 전체 시스템의 성능을 높이는 것이기 때문
10.2 오프라인 평가
오프라인 평가 모음은 복잡도의 범위가 매우 광범위.
10.2.1 예제 모음
예제 스위트는 여러 입력 예시를 모아, 프롬프트를 바꿀 때마다 결과를 비교하는 구성. 다음 세 가지로 이루어짐.
입력 예시 5~20개: 실제로 발생할 만한 다양한 상황을 준비해.
실행 스크립트: 각 예시에 대해 프롬프트를 생성하고 모델을 호출한 뒤, 프롬프트와 답변을 파일로 저장해.
결과 비교 방법: git diff 같은 도구로 변경 전후의 차이를 사람이 확인해.
다만 사람이 매번 읽을 수 있는 예제 수에는 한계가 있어. 미묘한 성능 차이를 확인하려면 수백~수천 개의 예제가 필요할 수 있으므로, 평가 규모를 키우려면 두 가지를 해결해야 해.
예제를 어디서 충분히 확보할 것인가?
결과의 품질을 어떻게 자동으로 평가할 것인가?
여러 차례 대화하는 앱에서는 앞선 답변이 다음 단계에 영향을 주기 때문에, 다음 두 방식으로 평가할 수 있어.
방식
진행 방법
장점과 한계
미리 작성된 대화로 단계별 평가
각 단계의 모델 답변을 평가하되, 다음 단계에는 실제 생성 답변 대신 대본에 정해진 답변을 넣어 진행
동일한 대화 맥락에서 각 단계를 비교할 수 있지만, 실제 답변이 누적되는 전체 흐름은 확인하기 어려움
LLM으로 사용자 시뮬레이션
사용자 역할의 모델에 프로필·지시를 주고, 앱의 실제 답변에 반응하게 함
전체 대화 흐름을 테스트할 수 있지만, 사용자 역할 모델의 오해나 편견이 평가에 영향을 줄 수 있음
10.2.2 샘플 찾기
**“평가용 샘플은 기존 자료, 실제 사용 기록, 직접 생성한 데이터에서 확보할 수 있으며, 각각의 현실성과 편향을 고려해야 한다”**는 거야.
샘플 출처
장점
한계·주의점
기존 자료
이미 있는 데이터를 활용해 많은 샘플을 확보할 수 있음
실제 앱이 해결하는 문제와 완전히 같지 않을 수 있음
앱의 실제 사용 기록
실제 사용 상황을 가장 잘 반영함
프로토타입 출시 후부터 수집 가능하고, 앱이 크게 바뀌면 과거 데이터의 유효성이 떨어질 수 있음
LLM으로 생성한 데이터
다양한 상황의 샘플을 대량으로 만들 수 있음
부정확하거나 비현실적인 예제, 모델의 편향이 포함될 수 있음
기존 자료를 활용할 때는 ‘충분한 양’과 ‘실제 문제와의 유사성’ 사이의 균형이 중요해.
Copilot은 사용자가 다음에 입력하려는 코드에 대한 데이터가 부족했기 때문에, 기존 코드를 변형해서 평가 문제를 만들었어.
오픈 소스 코드에서 함수를 선택해.
함수 본문을 지워, 사용자가 구현을 앞둔 상황을 만들어.
Copilot이 빈 부분을 완성하도록 해.
실제 자동완성보다 작성할 코드가 길고, 필요한 import가 이미 들어 있는 등 현실과 차이는 있었어. 하지만 방대한 평가 샘플을 확보할 수 있다는 장점이 있었지.
실제 사용 기록에서는 ‘좋은 입력’과 ‘믿을 만한 정답’을 구분해야 해. 사용자의 질문은 좋은 평가 문제가 되지만, 사용자의 최종 행동은 앱의 제안에 영향을 받았을 수 있으므로 정답으로 단정할 수 없어. 또한 기록 수집에는 사용자 동의와 데이터 보호가 필요해. 기준 정답 없이 평가할 수 있는 방식에서는 이러한 입력 기록을 유용하게 활용할 수 있어.
LLM으로 샘플을 생성할 때는 주제를 먼저 나누고, 그 안에서 예제를 만드는 계층적 접근이 좋아.
주제·조건 구성: 여러 측면의 선택지를 조합해서 다양한 상황을 만들어. 선택지가 각각 \(n, m, l, k\)개라면 \(n \times m \times l \times k\)개의 조합이 가능해.
주제별 샘플 생성: 각 주제에서 여러 예제를 생성해. 책에서는 같은 요청을 반복하는 것보다, 한 번에 여러 예제를 요청하는 편이 더 다양한 결과를 얻을 수 있다고 설명해.
해결책에서 역으로 생성: 가능한 경우에는 먼저 해결책을 정하고, 그 해결책에 대응하는 문제를 만들 수도 있어.
특히 평가받는 모델과 샘플을 만드는 모델이 같으면 평가가 편향될 수 있어. 모델 A가 만든 샘플만으로 A와 B를 비교하면, A에 유리한 평가가 될 가능성이 있다는 거야.
10.2.3 답안 평가
핵심은 **“생성된 답변의 품질은 기준 정답과의 비교, 실제 기능 검증, LLM의 판단이라는 세 가지 방식으로 평가할 수 있다”**는 거야.
평가 방법
확인하는 것
대표 사례
기준 정답과 비교
정해 둔 답과 얼마나 일치하는가?
예/아니오 판단, 분류 결과 비교
기능 테스트
결과가 요구된 기능을 수행하는가?
생성한 코드의 단위 테스트 실행
LLM 평가
자연어 답변의 품질이 어떤가?
친절함·유용성 등 평가
기준 정답인 ‘골드 스탠다드’와 비교할 때는 완전 일치와 부분 일치를 구분해야 해.
완전 일치: 출력이 기준 정답과 정확히 같은지 확인해. 예/아니오나 분류처럼 답의 형태가 제한적일 때 유용해.
부분 일치: 중요한 요소만 골라 비교해. 코드의 주석·형식 차이를 제외하거나, 여행 추천에서 목적지 국가만 비교하는 방식이야.
자유로운 문장이나 긴 답변은 내용이 올바르더라도 표현이 다를 수 있으므로, 완전 일치만 평가하면 실제 품질보다 특정 표현을 재현하는 능력을 측정하게 될 수 있어.
책의 난방 사례에서도 정확히 77°F를 출력했는지만 보기보다, 온도 조절 도구를 선택하고 올바른 형식으로 호출했는지를 확인하는 데 초점을 맞춰. 다만 부분 일치는 검사하지 않은 요소의 오류를 놓칠 수 있어.
따라서 평가 항목은 다음 조건을 만족해야 해.
실제 오류와 허용할 만한 차이를 구분할 수 있어야 함.
너무 구체적이어서 정상적인 답을 탈락시키거나, 너무 포괄적이어서 잘못된 답을 통과시키지 않아야 함.
특히 도구 사용 여부 → 도구 선택 → 인수 설정처럼 결정이 이어질 때는, 뒤의 판단까지 무효로 만들 수 있는 앞단의 중요한 결정부터 평가하는 것이 유용해. 현재 모델이 잘하는 부분에 맞춰 평가 기준을 정하면 이후 개발 방향도 편향될 수 있다는 점은 주의해야 해.
기능 테스트는 기준 답안과 모양이 같은지보다, 결과가 실제로 작동하는지 확인하는 방식이야.
Copilot 사례에서는 생성한 코드로 기존 함수 본문을 교체한 뒤, 저장소의 단위 테스트가 여전히 통과하는지 확인했어. 그 외에도 출력의 파싱 가능 여부, 존재하는 도구만 호출하는지, 인수의 자료형이 맞는지 등을 검사할 수 있어. 다만 이런 검사만으로 답변의 전체 품질을 판단하기 어려운 경우도 많아.
LLM 평가는 친절함이나 유용성처럼 규칙으로 정의하기 어려운 품질을 평가할 때 활용해. 여기에는 두 가지 중요한 주의점이 있어.
평가 점수를 실제 정확도와 동일시하지 않기: 평가 LLM이 답변의 81%를 옳다고 판단했다고 해서 실제 정답률이 81%라는 뜻은 아니야. 책은 이런 평가를 동일한 기준에서 버전 A와 B를 비교하는 상대적 판단으로 해석하라고 강조해.
자기 답변을 채점하는 상황 피하기: 모델이 자기 답변이라고 인식하면 기존 답을 옹호하거나, 반대로 사용자의 의심에 맞춰 판단을 바꾸는 편향이 생길 수 있어. 따라서 제3자의 답변을 평가하는 형태로 제시하는 것이 중요하다고 설명해.
10.2.4 SOMA 평가
핵심은 **“LLM에게 막연히 ‘좋은 답인가?’라고 묻지 말고, 평가 질문·점수 기준·평가 측면을 구체적으로 정하라”**는 거야. 이를 위한 방식이 SOMA 평가야.
구성 의미
적용
예시
S: 구체적인 질문
무엇을 판단할지 명확하게 질문
“이 행동이 사용자의 추위 문제를 해결하는가?”
O: 서수 척도 응답
의미가 정의된 단계별 점수로 평가
1~5점으로 평가하되 각 점수의 기준을 설명
MA: 다각적인 평가
품질을 여러 측면으로 나누어 각각 평가
문제 해결 효과, 도구 호출의 정확성, 개입의 적절성
구체적인 질문은 평가할 대상을 좁혀 줘. “이 답변이 맞는가?”라고만 물으면 모델이 어떤 때는 온도를, 어떤 때는 도구 선택을, 어떤 때는 사용자 허락 여부를 평가할 수 있어. 평가 항목을 명시해야 매번 같은 관점으로 비교하기 쉬워져.
서수 척도는 단순한 예/아니오보다 정도의 차이를 표현할 수 있어. 다만 “1~5점으로 평가해”만으로는 부족하고, 각 점수의 의미를 정해야 해. 책의 효과성 평가 기준은 다음과 같아.
점수
의미
1점
문제 해결에 도움이 없거나 상황을 악화시킬 수 있음
2점
문제의 일부만 해결할 수 있음
3점
문제의 상당 부분을 해결할 가능성이 높음
4점
완전한 해결을 보장하지는 못하지만 대부분 해결할 가능성이 높음
5점
문제를 완전히 해결할 것으로 판단됨
평가 측면을 나눌 때는 ‘의도’와 ‘실행’을 구분하는 것이 유용해.
의도: 선택한 행동이 사용자의 문제에 적합한 해결책인가?
실행: 그 행동을 올바른 도구와 호출 형식으로 구현했는가?
일반적인 답변에서는 **관련성·진실성·완전성(RTC)**으로 나눌 수도 있어. 각각 질문에 맞는 내용인지, 사실이 정확한지, 필요한 내용을 빠짐없이 제공했는지를 평가하는 거야.
또한 “딱 적당한가?”처럼 두 판단이 섞인 질문은 분리해야 해. 예를 들어 “도움이 충분했는가?”와 “불필요하게 개입하지 않았는가?”를 따로 물으면 더 명확해져.
평가 프롬프트에서는 평가 목적과 질문, 점수별 기준을 먼저 제시하고, 그다음 평가할 답변을 제공하라고 권장해.
하지만 SOMA 형식을 갖췄다고 평가의 타당성이 보장되지는 않아. 실제로 잘 평가하는지는 사람의 판단과 비교해야 해.
여러 사람이 동일한 사례를 평가해.
사람들 사이에서도 어느 정도 의견이 갈리는지 확인해.
평가 LLM을 포함했을 때 불일치가 크게 늘어나는지 확인해.
즉, 한 사람의 점수와 완전히 일치하는지를 보기보다 사람들 사이의 의견 차이를 고려해도 LLM의 평가를 받아들일 만한지 확인하는 거야.
본문 마지막에서는 오프라인 평가를 구성할 때 다음 조건을 확인하라고 정리해.
선택 대상
방법
확인할 조건
입력 샘플
기존 기록
충분한 양을 확보할 수 있는가?
입력 샘플
앱 사용 기록
앱 변경으로 데이터가 낡는 속도를 고려해도 충분히 수집되는가?
입력 샘플
합성 예제
생성 절차를 설계하는 데 시간을 투자할 수 있는가?
출력 평가
기준 정답과 비교
완전·부분 일치가 현실적이고 의미 있는가?
출력 평가
기능 테스트
핵심 기능을 자동으로 검사할 수 있는가?
출력 평가
LLM 평가
사람이 좋은 결과와 나쁜 결과를 명확히 구분할 수 있는가?
10.3 온라인 평가
10.3.1 A/B 테스트
A/B 테스트는 실제 사용자를 나누어 기존 버전과 수정 버전을 비교하는 온라인 평가야. 중요한 것은 실험 전에 “어떤 지표가 좋아지면 개선이라고 볼 것인가?”를 정하는 것이야.
진행 과정은 다음과 같아.
오프라인 평가로 후보 선별: 효과가 없거나 사용자 경험을 크게 해칠 가능성이 있는 변경안을 미리 걸러.
지표 설정: 높이고 싶은 지표뿐 아니라, 악화되면 안 되는 지표도 정해. 예를 들어 수락률은 높이되 오류·불만은 늘어나지 않아야 해.
무작위로 그룹 배정: 일부 사용자에게 A, 나머지에게 B를 제공해. 앱은 실험 플래그에 따라 두 가지 로직을 실행할 수 있어야 해.
일정 기간 결과 수집·비교: 미리 정한 지표를 기준으로 어떤 버전이 더 좋은지 판단해.
효과가 확인된 버전 적용: 더 나은 대안을 전체 사용자에게 배포해.
온라인 평가는 사용자 수가 제한적이고 피드백 수집과 배포에도 시간이 걸리므로, 오프라인 평가보다 시도할 아이디어를 신중하게 선택해야 해.
10.3.2 평가 지표
평가에 사용할 지표는 크게 다섯 가지야.
지표
무엇을 확인하나?
예시
해석할 때의 주의점
직접 피드백
사용자가 결과를 어떻게 평가하는가?
좋아요·싫어요, 평점, 두 답변 중 선호 선택
반복적인 평가 요청은 사용자에게 부담이 됨
기능적 정확성
시도한 작업이 정상적으로 수행됐는가?
코드 컴파일, 프로그램 실행, 이메일 전송 성공
실행 성공만으로 내용이나 의도가 올바르다는 보장은 없음
사용자 수용도
사용자가 제안을 받아들였는가?
코드 제안 수락, 추천 링크 클릭
관심이나 첫인상을 보여 줄 뿐, 실제 유용성을 보장하지 않음
성과·영향도
제안이 최종 결과에 얼마나 반영됐는가?
최종 이메일에 남은 AI 작성 내용, 추천 클릭 후 실제 구매
최종 결과를 관찰할 수 있어야 하고, 수집에 시간이 걸릴 수 있음
부수적 지표
품질과 관련된 주변 신호가 어떻게 변했는가?
응답 지연 시간, 대화 길이
수치가 높거나 낮다는 이유만으로 좋고 나쁨을 단정하기 어려움
**수용도와 영향도의 차이는 ‘받아들였는가’와 ‘최종 결과에 이어졌는가’**야. 추천 링크를 클릭한 것과, 실제로 구매까지 이어진 것은 다른 수준의 신호인 거지.
직접 피드백도 받는 시점에 따라 가치가 달라져. 여행 추천을 받은 직후의 만족도보다 여행을 다녀온 뒤의 평가가 실제 도움을 판단하는 데 더 유용할 수 있어. 이렇게 수집한 피드백은 평가뿐 아니라 모델의 학습 데이터로도 활용할 수 있어.
부수적 지표는 특히 해석에 주의해야 해. 대화가 짧아진 이유가 빠른 문제 해결일 수도 있고, 사용자가 실망해서 떠난 것일 수도 있어. 따라서 단독으로 성공을 판단하기보다 다른 지표와 함께 보고, 예상치 못한 변화의 원인을 조사하는 데 활용해.
책에서는 우선 수용도·영향도 지표를 검토하고, 이것만으로 품질을 판단하기 어렵다면 직접 피드백을 요청하라고 권장해. 이와 함께 기능적 정확성, 지연 시간, 오류도 수집해서 다른 부분이 악화되지 않는지 확인하는 거야.
10.4 요약
앱마다 적합한 평가 방식은 다르지만, 지속적인 개선을 위해 평가는 필수적
샘플 출처, 결과 검증 방법, 사용자 반응 지표를 앱의 특성에 맞게 선택해야 해. 평가 체계에 투자한 시간은 이후의 변경이 실제 개선인지 판단할 수 있게 해 준다는 점에서 가치가 있어.
