Ã¥¼Ò°³
"LLM, ´«À¸·Î ÀÍÈ÷°í ¼ÕÀ¸·Î ±¸ÇöÇ϶ó.
Æ®·£½ºÆ÷¸Ó ±¸Á¶ºÎÅÍ ½Ã¸Çƽ °Ë»ö, ¹Ì¼¼ Æ©´×, ÇÁ·ÒÇÁÆ® ¿£Áö´Ï¾î¸µ±îÁö
±×¸²°ú ½ÇÀü ÄÚµå·Î ¸¸µé¸é¼ ¹è¿ì´Â ´ë±Ô¸ð ¾ð¾î ¸ðµ¨ÀÇ ¸ðµç °Í
ÀÌ Ã¥Àº LLMÀ» ¾²´Â °ÍÀ» ³Ñ¾î, ÀÌÇØÇÏ°í ±¸ÇöÇÏ´Â °Í±îÁö ³ª¾Æ°¡°í ½ÍÀº À̸¦ À§ÇÑ ½ÇÀü °¡À̵åÀÔ´Ï´Ù. Á÷°üÀûÀÎ ½Ã°¢ ÀÚ·á¿Í ¿¹Á¦¸¦ Á¦°øÇØ `¿Ö ÀÌ·± ±¸Á¶°¡ ÇÊ¿äÇÑÁö` ÀÌÇØÇÏ°í ½Ç¿ëÀûÀÎ µµ±¸¿Í °³³äÀ» ÀÍÈú ¼ö ÀÖµµ·Ï ±¸¼ºÇß½À´Ï´Ù. »çÀü ÈÆ·ÃµÈ ´ë±Ô¸ð ¾ð¾î ¸ðµ¨À» »ç¿ëÇÏ´Â ¹æ¹ý°ú ½Ã¸Çƽ °Ë»ö ½Ã½ºÅÛÀ» ¸¸µå´Â ¹æ¹ý, ÅØ½ºÆ® ºÐ·ù, °Ë»ö, Ŭ·¯½ºÅ͸µÀ» À§ÇØ »çÀü ÈÆ·ÃµÈ ¸ðµ¨°ú °¢Á¾ ¶óÀ̺귯¸®¸¦ »ç¿ëÇÏ´Â ¹æ¹ýÀ» ¹è¿ó´Ï´Ù.
¡ÜÅØ½ºÆ® »ý¼º°ú Ç¥Çö¿¡ ¶Ù¾î³ Æ®·£½ºÆ÷¸Ó ¾ð¾î ¸ðµ¨ÀÇ ±¸Á¶
¡ÜÅØ½ºÆ® ¹®¼¸¦ ±×·ìÈÇϰí ÁÖÁ¦¸¦ ÆÄ¾ÇÇÏ´Â °í±Þ LLM ÆÄÀÌÇÁ¶óÀÎ
¡Ü¹ÐÁý °Ë»ö°ú Àç¼øÀ§ °áÁ¤ °°Àº ¹æ¹ýÀ¸·Î Ű¿öµå °Ë»öÀ» ³Ñ¾î¼´Â ÀÇ¹Ì °Ë»ö ¿£Áø ±¸Ãà
¡ÜÇÁ·ÒÇÁÆ® ¿£Áö´Ï¾î¸µºÎÅÍ °Ë»ö Áõ° »ý¼º±îÁö »ý¼º ¸ðµ¨ Ȱ¿ë¹ý
¡Ü¹Ì¼¼ Æ©´×, »ý¼ºÀû »çÀü ÇнÀ, ¹®¸Æ ÇнÀ °°Àº ±â¼ú·Î ƯÁ¤ ¿ëµµ¿¡ ¸Â°Ô LLMÀ» ÈÆ·ÃÇϰí ÃÖÀûÈÇÏ´Â ¹æ¹ý
ÀÌ Ã¥ÀÇ ±¸¼º
1ºÎ: ¾ð¾î ¸ðµ¨ ÀÌÇØÇϱâ
¡Ü¼Ò±Ô¸ð ¹× ´ë±Ô¸ð ¾ð¾î ¸ðµ¨ÀÇ ³»ºÎ µ¿ÀÛ ¿ø¸®
¡Ü¾ð¾î ¸ðµ¨ÀÇ µÎ °¡Áö ÇÙ½É ¿ä¼Ò: ÅäÅ«È¿Í ÀÓº£µù
¡Ü±×¸²À¸·Î »ìÆìº¸´Â Æ®·£½ºÆ÷¸ÓÀÇ ¸ðµ¨ ±¸Á¶
2ºÎ: »çÀü ÈÆ·ÃµÈ ¾ð¾î ¸ðµ¨ »ç¿ëÇϱâ
¡ÜÁöµµ ÇнÀ ºÐ·ù
¡ÜÅØ½ºÆ® Ŭ·¯½ºÅ͸µ°ú ÅäÇÈ ¸ðµ¨¸µ
¡ÜÀÓº£µù ¸ðµ¨ Ȱ¿ëÇÑ ½Ã¸Çƽ °Ë»ö
¡ÜÅØ½ºÆ® »ý¼º ¸ðµ¨
¡ÜºñÀü µµ¸ÞÀο¡ ¾ð¾î ¸ðµ¨ »ç¿ëÇÏ´Â ¹æ¹ý
3ºÎ: ¾ð¾î ¸ðµ¨ ÈÆ·Ã ¹× ¹Ì¼¼ Æ©´×
¡ÜÀÓº£µù ¸ðµ¨À» ¸¸µé°í ¹Ì¼¼ Æ©´×ÇÏ´Â ¹æ¹ý
¡ÜºÐ·ù¸¦ À§ÇØ BERT¸¦ ¹Ì¼¼ Æ©´×ÇÏ´Â ¹æ¹ý
¡Ü»ý¼º ¸ðµ¨À» ¹Ì¼¼ Æ©´×ÇÏ´Â ¹æ¹ý
´ë»ó µ¶ÀÚ
¡ÜêGPT °°Àº AI ¼ºñ½º°¡ ¾î¶»°Ô ÀÛµ¿ÇÏ´ÂÁö ±Ã±ÝÇϽŠºÐ
¡ÜNLP ÇÁ·ÎÁ§Æ®¸¦ ½ÃÀÛÇÏ·Á´Â Çлý ¹× °³¹ßÀÚ
¡ÜAI¸¦ Ȱ¿ëÇÑ ºñÁî´Ï½º ¸ðµ¨À» °í¹ÎÇÏ´Â ½Ç¹«ÀÚ
´ë±Ô¸ð ¾ð¾î ¸ðµ¨(LLM)ÀÌ ÀηùÀÇ ¼ÒÅë ¹æ½ÄÀ» ±Ùº»ÀûÀ¸·Î ¹Ù²Ù°í ÀÖ½À´Ï´Ù. ±â°è°¡ Àΰ£ÀÇ ¾ð¾î¸¦ ÀÌÇØÇÏ°í »ý¼ºÇÏ´Â ´É·ÂÀº AI ±â¼úÀÇ »õ ÁöÆòÀ» ¿¾úÀ» »Ó ¾Æ´Ï¶ó, »ê¾÷ Àü¹Ý¿¡ Çõ½ÅÀÇ ¹Ù¶÷À» ºÒ·¯ÀÏÀ¸Å°°í ÀÖ½À´Ï´Ù.
ÀÌ Ã¥Àº ½Ã°¢Àû Á¢±Ù¹ýÀ¸·Î º¹ÀâÇÑ LLMÀÇ ¼¼°è¸¦ ¸íÄèÇÏ°Ô ¾È³»ÇÕ´Ï´Ù. µö·¯´× ÀÌÀü ´Ü¼øÇÑ ´Ü¾î Ç¥Çö ¹æ½ÄºÎÅÍ ÃֽŠƮ·£½ºÆ÷¸Ó ¾ÆÅ°ÅØÃ³±îÁö, LLMÀÇ ¹ßÀü °úÁ¤À» ÇÑ´«¿¡ ÆÄ¾ÇÇÒ ¼ö ÀÖ½À´Ï´Ù. µ¶ÀÚ´Â LLMÀÇ ³»ºÎ ÀÛµ¿ ¿ø¸®¸¦ ÀÌÇØÇϰí, ±× ±¸Á¶¿Í ÈÆ·Ã ¹æ¹ý, ´Ù¾çÇÑ ¹Ì¼¼ Æ©´× ±â¹ýÀ» Á÷Á¢ ŽÇèÇÏ°Ô µË´Ï´Ù.
½Ç¿ëÀûÀÎ ÀÀ¿ë¿¡ ÁßÁ¡À» µÐ ÀÌ Ã¥Àº ÅØ½ºÆ® ºÐ·ù, Ŭ·¯½ºÅ͸µ, ÅäÇÈ ¸ðµ¨¸µºÎÅÍ Ãªº¿°ú °Ë»ö ¿£Áø ±¸Ãà±îÁö ´Ù¾çÇÑ LLM ÀÀ¿ë »ç·Ê¸¦ »ó¼¼È÷ ´Ù·ì´Ï´Ù. Á÷°üÀûÀÎ ¼³¸í°ú ½Ã°¢Àû µµÇØ, ½ÇÀü Äڵ尡 Á¶È·Ó°Ô ¾î¿ì·¯Á® µ¶ÀÚ°¡ ½±°Ô ÀÌÇØÇÒ ¼ö ÀÖ½À´Ï´Ù.
AI¿Í ¾ð¾î ¸ðµ¨¿¡ ù ¹ßÀ» ³»µó´Â ÀÔ¹®ÀÚºÎÅÍ ´õ ±íÀº ÀÌÇØ¸¦ Ãß±¸ÇÏ´Â Àü¹®°¡±îÁö, Èï¹ÌÁøÁøÇÑ LLMÀÇ ¼¼°è·Î ¿©·¯ºÐÀ» ÃÊ´ëÇÕ´Ï´Ù. ÀÌ Ã¥°ú ÇÔ²²¶ó¸é ´©±¸³ª LLMÀÇ ¹«ÇÑÇÑ °¡´É¼ºÀ» Á÷Á¢ °æÇèÇÒ ¼ö ÀÖÀ» °ÍÀÔ´Ï´Ù."
ÀúÀÚ¼Ò°³
ÄÚÈ÷¾î(Cohere)(´ë±Ô¸ð ¾ð¾î ¸ðµ¨À» API·Î Á¦°øÇÏ´Â ¼±µÎ ¾÷ü)ÀÇ ÀÌ»çÀÌÀÚ ¿£Áö´Ï¾î¸µ Æç·Î(fellow)ÀÔ´Ï´Ù. ¾ð¾î ¸ðµ¨À» ½Ç¿ëÀûÀ¸·Î »ç¿ëÇÏ´Â ¹æ¹ýÀ» ±â¾÷°ú °³¹ßÀÚ Ä¿¹Â´ÏƼ¿¡ Á¶¾ðÇÏ°í ±³À°ÇÏ´Â ÀÏÀ» ÇÕ´Ï´Ù. À¯¸íÇÑ ±×ÀÇ AI/ML ºí·Î±×(https://jalammar.github.io)¸¦ ÅëÇØ ¼ö¹é¸¸ ¸íÀÇ ¿¬±¸ÀÚ¿Í ¿£Áö´Ï¾îµéÀÌ ¸Ó½Å·¯´× µµ±¸´Â ¹°·ÐÀ̰í (³ÑÆÄÀÌ¿Í ÆÇ´Ù½º °°Àº ÆÐŰÁö ¹®¼¿¡ ¼ö·ÏµÈ) ±âº» Áö½ÄºÎÅÍ (Æ®·£½ºÆ÷¸Ó, BERT, GPT-3, ½ºÅ×ÀÌºí µðÇ»Àü °°Àº) Ãֽа³³ä±îÁö Æø³Ð°Ô ÀÌÇØÇÏ´Â µ¥ µµ¿òÀ» ÁÖ°í ÀÖ½À´Ï´Ù. Á¦ÀÌ´Â Deeplearning.ai¿Í Udacity¿¡¼ Àαâ ÀÖ´Â ¸Ó½Å·¯´× ÄÚ½º¿Í ÀÚ¿¬¾î ó¸® ÄÚ½º¸¦ Á¦ÀÛÇÑ À̷µµ ÀÖ½À´Ï´Ù.
¸ñÂ÷
1ºÎ ¾ð¾î ¸ðµ¨ ÀÌÇØÇϱâ
1Àå ´ë±Ô¸ð ¾ð¾î ¸ðµ¨ ¼Ò°³
_1.1 ¾ð¾î AI¶õ?
_1.2 ¾ð¾î AIÀÇ ÃÖ±Ù ¿ª»ç
_1.3 `´ë±Ô¸ð ¾ð¾î ¸ðµ¨`ÀÇ Á¤ÀÇ
_1.4 ´ë±Ô¸ð ¾ð¾î ¸ðµ¨ÀÇ ÈÆ·Ã ÆÐ·¯´ÙÀÓ
_1.5 ´ë±Ô¸ð ¾ð¾î ¸ðµ¨ ¾ÖÇø®ÄÉÀ̼Ç: ¿Ö À¯¿ëÇѰ¡¿ä?
_1.6 Ã¥ÀÓ ÀÖ´Â LLM °³¹ß°ú »ç¿ë
_1.7 ÀÚ¿øÀÌ ºÎÁ·Çصµ ±¦Âú½À´Ï´Ù.
_1.8 ´ë±Ô¸ð ¾ð¾î ¸ðµ¨ ÀÎÅÍÆäÀ̽º
_1.9 ù ¹øÂ° ÅØ½ºÆ® »ý¼ºÇϱâ
_1.10 ¿ä¾à
2Àå ÅäÅ«°ú ÀÓº£µù
_2.1 LLM ÅäÅ«È
_2.2 ÅäÅ« ÀÓº£µù
_2.3 ÅØ½ºÆ® ÀÓº£µù(¹®Àå°ú Àüü ¹®¼)
_2.4 LLMÀ» ³Ñ¾î Ȱ¿ëµÇ´Â ´Ü¾î ÀÓº£µù
_2.5 Ãßõ ½Ã½ºÅÛÀ» À§ÇÑ ÀÓº£µù
_2.6 ¿ä¾à
3Àå ´ë±Ô¸ð ¾ð¾î ¸ðµ¨ ÀÚ¼¼È÷ »ìÆìº¸±â
_3.1 Æ®·£½ºÆ÷¸Ó ¸ðµ¨ °³¿ä
_3.2 Æ®·£½ºÆ÷¸Ó ¾ÆÅ°ÅØÃ³ÀÇ ÃÖ±Ù ¹ßÀü »çÇ×
_3.3 ¿ä¾à
2ºÎ »çÀü ÈÆ·ÃµÈ ¾ð¾î ¸ðµ¨ »ç¿ëÇϱâ
4Àå ÅØ½ºÆ® ºÐ·ù
_4.1 ¿µÈ ¸®ºä µ¥ÀÌÅͼÂ
_4.2 Ç¥Çö ¸ðµ¨·Î ÅØ½ºÆ® ºÐ·ùÇϱâ
_4.3 ¸ðµ¨ ¼±ÅÃ
_4.4 ÀÛ¾÷¿¡ Æ¯ÈµÈ ¸ðµ¨ »ç¿ëÇϱâ
_4.5 ÀÓº£µùÀ» Ȱ¿ëÇÏ¿© ºÐ·ù ÀÛ¾÷ ¼öÇàÇϱâ
_4.6 »ý¼º ¸ðµ¨·Î ÅØ½ºÆ® ºÐ·ùÇϱâ
_4.7 ¿ä¾à
5Àå ÅØ½ºÆ® Ŭ·¯½ºÅ͸µ°ú ÅäÇÈ ¸ðµ¨¸µ
_5.1 ¾ÆÄ«ÀÌºê ³í¹®: °è»ê ¹× ¾ð¾î
_5.2 ÅØ½ºÆ® Ŭ·¯½ºÅ͸µÀ» À§ÇÑ ÆÄÀÌÇÁ¶óÀÎ
_5.3 ÅØ½ºÆ® Ŭ·¯½ºÅ͸µ¿¡¼ ÅäÇÈ ¸ðµ¨¸µÀ¸·Î
_5.4 ¿ä¾à
6Àå ÇÁ·ÒÇÁÆ® ¿£Áö´Ï¾î¸µ
_6.1 ÅØ½ºÆ® »ý¼º ¸ðµ¨ »ç¿ëÇϱâ
_6.2 ÇÁ·ÒÇÁÆ® ¿£Áö´Ï¾î¸µ ¼Ò°³
_6.3 °í±Þ ÇÁ·ÒÇÁÆ® ¿£Áö´Ï¾î¸µ
_6.4 »ý¼º ¸ðµ¨À» »ç¿ëÇÑ Ãß·Ð
_6.5 Ãâ·Â °ËÁõ
_6.6 ¿ä¾à
7Àå °í±Þ ÅØ½ºÆ® »ý¼º ±â¼ú°ú µµ±¸
_7.1 ¸ðµ¨ I/O: ·©Ã¼ÀÎÀ¸·Î ¾çÀÚÈµÈ ¸ðµ¨ ·ÎµåÇϱâ
_7.2 üÀÎ: LLMÀÇ ´É·Â È®ÀåÇϱâ
_7.3 ¸Þ¸ð¸®: ´ëȸ¦ ±â¾ïÇϵµ·Ï LLM µ½±â
_7.4 ¿¡ÀÌÀüÆ®: LLM ½Ã½ºÅÛ ±¸ÃàÇϱâ
_7.5 ¿ä¾à
8Àå ½Ã¸ÇÆ½ °Ë»ö°ú RAG
_8.1 ½Ã¸Çƽ °Ë»ö°ú RAG ¼Ò°³
_8.2 ¾ð¾î ¸ðµ¨À» »ç¿ëÇÑ ½Ã¸Çƽ °Ë»ö
_8.3 RAG
_8.4 ¿ä¾à
9Àå ¸ÖÆ¼¸ð´Þ ´ë±Ô¸ð ¾ð¾î ¸ðµ¨
_9.1 ºñÀü Æ®·£½ºÆ÷¸Ó
_9.2 ¸ÖƼ¸ð´Þ ÀÓº£µù ¸ðµ¨
_9.3 ÅØ½ºÆ® »ý¼º ¸ðµ¨À» ¸ÖƼ¸ð´Þ·Î ¸¸µé±â
_9.4 ¿ä¾à
3ºÎ ¾ð¾î ¸ðµ¨ ÈÆ·Ã ¹× ¹Ì¼¼ Æ©´×
10Àå ÅØ½ºÆ® ÀÓº£µù ¸ðµ¨ ¸¸µé±â
_10.1 ÀÓº£µù ¸ðµ¨
_10.2 ´ëÁ¶ ÇнÀÀ̶õ?
_10.3 SBERT
_10.4 ÀÓº£µù ¸ðµ¨ ¸¸µé±â
_10.5 ÀÓº£µù ¸ðµ¨ ¹Ì¼¼ Æ©´×
_10.6 ºñÁöµµ ÇнÀ
_10.7 ¿ä¾à
11Àå ºÐ·ù¿ë Ç¥Çö ¸ðµ¨ ¹Ì¼¼ Æ©´×Çϱâ
_11.1 Áöµµ ºÐ·ù
_11.2 Ç»¼¦ ºÐ·ù
_11.3 ¸¶½ºÅ©µå ¾ð¾î ¸ðµ¨¸µÀ¸·Î ¹Ì¼¼ Æ©´× °è¼ÓÇϱâ
_11.4 °³Ã¼¸í ÀνÄ
_11.5 ¿ä¾à
12Àå »ý¼º ¸ðµ¨ ¹Ì¼¼ Æ©´×Çϱâ
_12.1 LLM ÈÆ·ÃÀÇ ¼¼ ´Ü°è: »çÀü ÈÆ·Ã, Áöµµ ÇнÀ ¹Ì¼¼ Æ©´×, ¼±È£µµ Æ©´×
_12.2 Áöµµ ÇнÀ ¹Ì¼¼ Æ©´×
_12.3 QLoRA¸¦ »ç¿ëÇÑ Áö½Ã ±â¹Ý Æ©´×
_12.4 »ý¼º ¸ðµ¨ Æò°¡
_12.5 ¼±È£µµ Æ©´×/Á¤·Ä/RLHF
_12.6 º¸»ó ¸ðµ¨À» »ç¿ëÇÑ ¼±È£µµ Æò°¡ ÀÚµ¿È
_12.7 DPO¸¦ »ç¿ëÇÑ ¼±È£µµ Æ©´×
_12.8 ¿ä¾à
¸¶Ä¡¸ç