[ITµ¿¾Æ ³²½ÃÇö ±âÀÚ] 2022³â ¸» GPT 3 µîÀå ÀÌÈÄ AI »ê¾÷Àº ÇÏÀÌÆÛ½ºÄÉÀÏ·¯µéÀÇ ¸·´ëÇÑ ÀÚº» ÅõÀÔÀ» ÅëÇÑ ÀÎÇÁ¶ó È®º¸, Á¤È®È÷´Â ¿£ºñµð¾ÆÀÇ ±×·¡ÇÈ Ä«µå(GPU)¸¦ È®º¸Çϱâ À§ÇÑ °æÀïÀ̾ú´Ù. 2026³â ÇöÀçµµ AI ÇнÀ¿¡ ÇÊ¿äÇÑ GPU¸¦ ¼ö±ÞÇϱâ À§ÇØ °ÅÀÇ ¸ðµç ±â¾÷µéÀÌ Ç÷¾ÈÀÌ µÇ¾îÀÖ°í, ¸¶ÀÌÅ©·Î¼ÒÇÁÆ®, AWS, ±¸±Û µî ±Ô¸ðÀÇ °æÁ¦°¡ °¡´ÉÇÑ ±â¾÷µéÀº ÀÚü ¼³°è ¹ÝµµÃ¼·Î °æÀïÇϰí ÀÖ´Ù. ÀÌ·± »óȲ ¼Ó¿¡ ÀÎÇÁ¶ó È®ÃæÀ» ÅëÇÑ ½ºÄÉÀϾ÷º¸´Ù ±âÁ¸ÀÇ È¿À² È®º¸³ª ´ëüÁ¦¸¦ ÅëÇØ ´ë¾ÈÀ» ¸ð»öÇÏ´Â ±â¾÷ÀÌ ÀÖ¾úÀ¸´Ï, ¹Ù·Î µö½ÃÅ©´Ù.
¸±°ÔÀÓȲ±Ý¼ºµö½ÃÅ©´Â Áö³ÇØ ¡®µö½ÃÅ© ¼îÅ©¡¯ÀÇ ÇÙ½ÉÀÌ µÇ´Â ±â¾÷À¸·Î ¿À´Â 2¿ù Áß Â÷¼¼´ë ¹öÀüÀÎ µö½ÃÅ© V4 Ãâ½Ã¸¦ ¾ÕµÐ »óȲÀÌ´Ù / Ãâó=ITµ¿¾Æ
µö½ÃÅ©´Â 2023³â 11¿ùºÎÅÍ µö½ÃÅ©-ÄÚ´õ¸¦ ½ÃÀÛÀ¸·Î AI ¸ðµ¨À» Ãâ½ÃÇØ¿Ô°í °¡Àå Àß ¾Ë·ÁÁø °è±â´Â ÁÖ·Â ¸ðµ¨ÀÇ ¼¼ ¹øÂ° ¹öÀüÀÎ µö½ÃÅ©-V3 ºÎÅÍ´Ù. ´ç½Ã±î
°ËÁõ¿Ï·á¸±°ÔÀÓ Áö¸¸ ÇØµµ ¿ÀÇÂAI, ±¸±Û, ¸ÞŸ µî Àü ¼¼°è AI ±â¾÷µéÀº ¼öõ ¾ï ¿ø ÀÌ»óÀ» ÅõÀÔÇØ AI¸¦ °³¹ßÇØ ¿ÔÁö¸¸, µö½ÃÅ©´Â 80¾ï ¿øÀ¸·Î µö½ÃÅ©-V3¸¦ °³¹ßÇß´Ù°í ÁÖÀåÇØ Àü ¼¼°èÀÇ À̸ñÀ» ÁýÁß½ÃÄ×´Ù.
¹°·Ð 80¾ï ¿øÀ̶ó´Â ¼ýÀÚ´Â GPU¸¦ ±¸µ¿ÇÑ ¼ø¼ö Àü±â¼¼ ¹× ÀÎÇÁ¶ó ºñ¿ëÀÌ ¿ÍÀüµÈ °ÍÀÌÁö¸¸, ½ÇÁ¦·Î FP8 °¡¼Ó ÇнÀÀ¸·Î ¿¬»ê È¿À²À» 2¹è ²ø
¹Ù´ÙÀ̾߱â¿À¸®Áö³Î ¾î¿Ã¸®°í, ¸ÖƼÇìµå ÀáÀç ¾îÅÙ¼Ç(MLA, Multi-Head Latent Attention)À¸·Î ¸Þ¸ð¸® »ç¿ë·®À» ȹ±âÀûÀ¸·Î ²ø¾î¿Ã¸®´Â ±¸Á¶¸¦ Àû¿ëÇØ ´ë´ÜÇØ È¿À²ÀûÀ¸·Î ´ëÇü¾ð¾î¸ðµ¨(LLM)À» °³¹ßÇÑ °ÍÀº »ç½ÇÀÌ´Ù.
±×¸®°í Áö³ÇØ µö½ÃÅ©°¡ °ø°³ÇÑ ¿£±×·¥(N-Gram) ó¸® ±â¼úÀº LLM ¾÷°èÀÇ ±Ùº»ÀûÀÎ °³¹ß ±¸Á¶¸¦ ¹Ù²Ù°í, µ¥ÀÌÅͼ¹ö ÀÎÇÁ¶ó
¹Ù´Ù½Å2°ÔÀÓ ½ÃÀåÀ» ³Ñ¾î ÀÏ»ó Àü¹Ý¿¡±îÁö ¾öû³ ¿µÇâÀ» ¹ÌÄ¡°í ÀÖ´Ù. µö½ÃÅ©°¡ °ø°³ÇÑ ¿£±×·¥ ±â¼ú, ±×¸®°í ½Ç¹° °æÁ¦ Àü¹Ý¿¡ ¹ÌÄ¡°í ÀÖ´Â »ç°ÇµéÀ» Á¶¸íÇØ º»´Ù.
È¿À²¼º°ú °¡°Ý´ë ¼º´Éºñ·Î ÇÑ°è ±Øº¹ÇÏ´Â µö½ÃÅ©
Áö³ÇØ µö½ÃÅ© ¼îÅ© ÀÌÈÄ µö½ÃÅ©´Â Áß±¹ Á¤ºÎÀÇ ¡®AI ±¼±â¡¯¸¦ »ó¡ÇÏ´Â ±â¾÷À¸·Î Áß±¹ Á¤ºÎÀÇ ÀüÀûÀÎ Áö¿øÀ» ¹Þ°í ÀÖ´Ù. Áß±¹
¼Õ¿À°ø°ÔÀÓ Á¤ºÎ´Â ÃÑ 600¾ï À§¾È(¾à 12Á¶ 5000¾ï ¿ø) ±Ô¸ðÀÇ ±¹°¡ AI »ê¾÷ ÅõÀÚ ÆÝµå¸¦ ¼³¸³ÇØ µö½ÃÅ©¸¦ ºñ·ÔÇÑ AI ½ºÅ¸Æ®¾÷À» Áö¿ø ÁßÀ̸ç, ½´ÆÛÄÄÇ»ÆÃ ÀÎÇÁ¶ó ±¸Ãà¿¡µµ Áß±¹ Á¤ºÎÀÇ º¸ÀÌÁö ¾Ê´Â ¼ÕÀÌ ÀÛ¿ëÇÑ´Ù. ÇÏÁö¸¸ µö½ÃÅ©ÀÇ Àú·ÂÀº ÅõÀÚ À¯Ä¡³ª ¾çÀû Áö¿øº¸´Ùµµ ¹ØÃµÀÌ ºÎÁ·ÇÑ »óȲ¿¡¼µµ ±â¼ú·ÂÀ» ¾Õ¼¼¿ö ±¹°¡±Þ AI¸¦ ¸¸µé¾î³Â´Ù´Â Á¡ÀÌ´Ù.
µö½ÃÅ©ÀÇ °³¹ßÀÚ Ä¿¹Â´ÏƼ '±êÇãºê' ÆäÀÌÁö, ¸¹Àº ¸ðµ¨µéÀÌ ¿ÀǼҽº·Î °ø°³µÅÀÖ´Ù / Ãâó=±êÇãºê
µö½ÃÅ©´Â 2023³âºÎÅÍ LLMÀ» ±¸ÃàÇÏ¸ç ºÎÁ·ÇÑ AI ÀÎÇÁ¶ó·Î ¼º´É ¹®Á¦, ÇнÀ ¿ª·® µîÀ» °³¼±Çϱâ À§ÇØ ´Ù¾çÇÑ ½ÃµµµéÀ» ÇØ¿ÔÀ¸¸ç ÀÌ °úÁ¤¿¡¼ ¸ÖƼÇìµå ÀáÀç ¾îÅÙ¼Ç(MLA), µö½ÃÅ©MoE(Àü¹®°¡ È¥ÇÕ ¾ÆÅ°ÅØÃ³, Mixture of Experts), ±×·ì»ó´ëÁ¤Ã¥ ÃÖÀûÈ(GRPO, Group Relative Policy Optimization), FP8 Á¤¹Ðµµ ÈÆ·Ã ¹× ´ÙÁß ÅäÅ« ¿¹Ãø(MTP, Multi-Token Prediction), ¿£±×·¥ µîÀÇ ±â¼úÀÌ ±¸ÇöµÆ´Ù.
MLA´Â LLMµéÀÇ °íÁúÀûÀÎ ¹®Á¦¿´´ø KV ij½Ã ¸Þ¸ð¸® Á¡À¯ ¹®Á¦¸¦ ÇØ°áÇÑ ±â¼úÀÌ´Ù. LLMÀº ¹®¸ÆÀÌ ±æ¾îÁú¼ö·Ï ÀúÀå °ø°£ÀÌ ±âÇϱ޼öÀûÀ¸·Î ´Ã¾î³ª ¸Þ¸ð¸®¸¦ ä¿ì°í º´¸ñÀÌ »ý±ä´Ù. MLA´Â µ¥ÀÌÅ͸¦ ÀáÀç º¤ÅÍ ÇüÅ·Π¾ÐÃàÇØ ÀúÀåÇϰí, ÇÊ¿äÇÒ ¶§ À̸¦ ۰ªÀ¸·Î º¹¿øÇؼ »ç¿ëÇØ ÃÖ´ë 90%ÀÇ ¸Þ¸ð¸®¸¦ Àý°¨ÇÑ´Ù. µö½ÃÅ©MoE´Â ÇÁ·ÒÇÁÆ®¸¦ ÀÔ·ÂÇßÀ» ¶§ »ç¿ëÀÚ°¡ ÀÔ·ÂÇÑ Áö½Ä ¿µ¿ª¿¡ ÇØ´çÇÏ´Â ºÎºÐ¸¸ Ȱ¼ºÈÇØ ºÎ´ãÀ» ÁÙÀÌ´Â ±â¼úÀÌ´Ù.
PPO´Â ÈçÈ÷ »ç¿ëµÇ´Â °ÈÇнÀ ¾Ë°í¸®ÁòÀε¥, ºñÆÇ ¸ðµ¨À» Ãß°¡ÇÏ´Ùº¸´Ï ¸Þ¸ð¸® ºÎ´ãÀÌ Å©´Ù. ¹Ý¸é GRPO´Â ºñÆÇ ¸ðµ¨ ¾øÀÌ ´Ù¼öÀÇ °á°ú¹°À» ³½ µÚ °¢ °á°ú¹°À» ºñ±³ÇØ ¸Þ¸ð¸® ºÎ´ãÀ» ÁÙ¿´´Ù / Ãâó=µö½ÃÅ©
GRPO´Â °ÈÇнÀ °ü·Ã ±â¼úÀÌ´Ù. ±âÁ¸ÀÇ °ÈÇнÀÀº °á°ú°¡ ³ª¿À¸é ºñÆÇ ¸ðµ¨ÀÌ À̸¦ ºÐ¼®Çϰí Á¡¼ö¸¦ ¸Å±â´Â ¹æ½ÄÀ¸·Î ÇнÀÇϴµ¥, GRPO´Â ¿©·¯ °³ÀÇ °á°ú¸¦ »êÃâÇÑ µÚ °á°ú³¢¸® ºñ±³ÇØ Æò±Õº¸´Ù ³ªÀº ´äÀ» ÇнÀÇÑ´Ù. ºñÆÇ¸ðµ¨À» ¿î¿ëÇÏÁö ¾Ê¾Æ ÀÚ¿øÀ» ȹ±âÀûÀ¸·Î ¾Æ³¢°í ½º½º·Î »ý°¢ÇÏ´Â ´É·ÂÀº ´õ¿í °ÈÇÑ´Ù. FP8 Á¤¹Ðµµ ÈÆ·Ã ¹× MTP´Â ¸ðµ¨À» ±¸ÃàÇÒ ¶§ 16ºñÆ®, 32ºñÆ® Á¤¹Ðµµ ´ë½Å ¸Þ¸ð¸® »ç¿ë·®ÀÌ ´õ ÀûÀº 8ºñÆ®·Î ¸¸µé¾î È¿À²À» ¿Ã¸°´Ù. ¶ÇÇÑ ´ë´äÀ» ¿¹ÃøÇÒ ¶§ ¿©·¯ °³¸¦ Çѹø¿¡ ¿¹ÃøÇØ Ãß·Ð ¼Óµµ¸¦ ²ø¾î¿Ã¸°´Ù.
µö½ÃÅ©´Â ÇÑÁ¤µÈ ¿¬»ê ÀÚ¿øÀ» °¡´ÉÇÑ È¿À²ÀûÀ¸·Î ¿î¿ëÇϱâ À§ÇØ ¸Þ¸ð¸® È¿À², ¿¬»ê È¿À², ³í¸® Ãß·Ð, ÇнÀ ¼Óµµ ºÎ¹®¿¡¼ ÀÚ»êÀ» Àý°¨ÇÏ´Â ±â¼úµéÀ» °³¹ßÇØ Àû¿ëÇß°í, ±× ´öºÐ¿¡ µö½ÃÅ© V3ó·³ ÀûÀº ÀÚ¿øÀ¸·Î GPT, Á¦¹Ì³ªÀÌ¿Í ºñ½ÁÇÑ ¼öÁØÀÇ ¸ðµ¨À» ¸¸µé ¼ö ÀÖ¾ú´Ù. °Ô´Ù°¡ ÀÌ ±â¼úÀ» ¸ðµÎ °³¹ßÀÚ Ä¿¹Â´ÏƼ¿¡ ÄÚµå ¹× °¡ÁßÄ¡, ¸ðµ¨ ±¸Á¶¸¦ °ø°³Çϰųª, ³í¹® °ø°³ ¹× ¶óÀ̺귯¸® Áö¿øÀ¸·Î ¾µ ¼ö ÀÖ°Ô Çϰí ÀÖ´Ù.
µö½ÃÅ© ¿£±×·¥, ÆÐ·¯´ÙÀÓ Àüȯ¿¡ µµÀüÇÏ´Â »õ·Î¿î ½Ãµµ
±âÁ¸¿¡ Ãâ½ÃµÈ ±â¼úµéÀÌ LLM °³¹ß È¿À²°ú ±¸Á¶ °³¼±¿¡ ÃÊÁ¡À» ¸ÂÃè´Ù¸é, À̹ø¿¡ µîÀåÇÑ ¿£±×·¥ ³í¹®Àº ¿£ºñµð¾Æ GPU¿¡ ÀÇÁ¸ÇÏ´Â ±âÁ¸ AI ±¸Ãà ¹æ½Ä ÀÚü¸¦ Èçµé¾î³õ´Â ±â¼úÀÌ´Ù. µö½ÃÅ©´Â Áö³ 14ÀÏ ¾ÆÄ«À̺ê(arXiv)¿¡ ¡®È®Àå °¡´ÉÇÑ Á¶È¸¸¦ ÅëÇÑ Á¶°ÇºÎ ¸Þ¸ð¸®: ´ë±Ô¸ð ¾ð¾î ¸ðµ¨À» À§ÇÑ »õ·Î¿î Èñ¼Ò¼º Ãà(Conditional Memory via Scalable Lookup:A New Axis of Sparsity for Large Language Models)¡¯À̶ó´Â À̸§ÀÇ ³í¹®À» °ø°³Çß´Ù. ±âÁ¸ÀÇ LLMÀº °£´ÜÇÑ ³»¿ëµµ ã±â À§ÇØ ¿¬»êÀ» µ¹·Á¾ß Çß°í, MoE ±â¼úÀÌ °ø°³µÇ¸ç ±× ¹üÀ§°¡ ÁÙ¾úÁö¸¸ ¿©ÀüÈ÷ ´Ü¼øÇÑ ³»¿ëµµ ´Ü¼ø ¿¬»êÀ¸·Î ó¸®ÇÑ´Ù.
AI°¡ ¹®ÀåÀ» ó¸®ÇÒ ¶§ ƯÁ¤ ´Ü¾î³ª ±¸ÀýÀ» ¾î¶»°Ô ±â¾ïÀåÄ¡¿¡¼ ºÒ·¯¿À´ÂÁö¸¦ ½Ã°¢ÈÇÑ ±×¸² / Ãâó=µö½ÃÅ©
ÇØ´ç ³í¹®Àº ÀÚÁÖ »ç¿ëµÇ´Â ÆÐÅÏÀ̳ª Áö½ÄÀ» ¿£±×·¥(´Ü¾î ¹¶Ä¡) ÇüÅÂÀÇ ¸Þ¸ð¸®¿¡ ÀúÀåÇØ µÐ µÚ Áú¹®ÀÇ Á¶°Ç°ú ¸Æ¶ôÀÌ ¸ÂÀ» ¶§ À̸¦ Ãâ·ÂÇÑ´Ù. ±âÁ¸ ¸ðµ¨Àº 8X7À» ¹°¾îº¼ ¶§ Çà·Ä °ö¼ÀÀ» ¼öÇàÇÑ µÚ 56À̶ó´Â ´äÀ» ³»³õ´Â´Ù. ¹Ý¸é ¿£±×·¥ ¹æ½ÄÀº 8X7 Áú¹® ÀÚü¸¦ »çÀü¿¡ ÀúÀåµÈ °ªÀ¸·Î º¸°í 56À̶ó´Â ´äÀ» ³»³õ´Â´Ù. ´öºÐ¿¡ GPU·Î µ¥ÀÌÅÍ ¿¬»êÀ» ó¸®ÇÏÁö ¾Ê°í D·¥À» ÅëÇØ ¸Þ¸ð¸® Å×À̺íÀ» È®ÀåÇØ¼ Áö½ÄÀÇ ¾çÀ» È®ÀåÇÒ ¼ö ÀÖ´Ù.
ÀÌ ¹æ½ÄÀ» µµÀÔÇÏ¸é °Ë»ö¿¡ µé¾î°¡´Â ¿¬»êÀº ÁÙ¾îµé¾î GPU¿¡ ´ëÇÑ ÀÇÁ¸µµ´Â ÁÙ¾îµé°í, ¹Ý´ë·Î ¸Þ¸ð¸® Å×À̺íÀº È®ÀåÇϱâ À§ÇØ ´õ ¸¹Àº ½Ã½ºÅÛ ¸Þ¸ð¸®¿Í ÀúÀåÀåÄ¡°¡ ÇÊ¿äÇØÁø´Ù. D·¥ÀÇ ¿ë·®°ú ¼Óµµ°¡ AI ¸ðµ¨ÀÇ Àüü ¼º´É°ú Áö½Ä Á¦°ø ¼Óµµ µî¿¡ Á÷Á¢ÀûÀÎ ¿µÇâÀ» ¹ÌÄ¡´Â ±¸Á¶°¡ µÈ´Ù. ¿£±×·¥ ÀÚü´Â 2024³â ¸»¿¡ µö½ÃÅ© V3 Ãâ½Ã ´ç½Ã ±â¼ú º¸°í¼¸¦ ÅëÇØ °ø°³µÆÁö¸¸ ½ÇÁ¦·Î D·¥ÀÌ ¼º´É Çâ»óÀÌ ¿µÇâÀ» Áشٴ °Ô °ËÁõµÇÀÚ º»°ÝÀûÀ¸·Î D·¥ ¼ö¿ä°¡ Æø¹ßÀûÀ¸·Î Áõ°¡ÇÏ¸ç °¡°ÝÀÌ ¿Ã¶ú´Ù.
ÀÌ¹Ì ¸ÞŸµµ È®Àå °¡´ÉÇÑ ¸Þ¸ð¸® °èÃø ±â¼ú(Scalable Memory Layers), ±¸±ÛÀÇ ¹ÌºÐ °¡´ÉÇÑ °Ë»ö À妽º·Î¼ÀÇ Æ®·£½ºÆ÷¸Ó ¸Þ¸ð¸®(Differentiable Search Index & Memory-Augmented LLMs), ¾Ë¸®¹Ù¹ÙÀÇ Å¥À¢, ¹Ì½ºÆ®¶ö AI µîÀÌ ºñ½ÁÇÑ ¿£±×·¥ °ü·Ã µ¶ÀÚ ±â¼úÀ» °³¹ßÇϸç D·¥ ¼ö¿ä´Â °¥¼ö·Ï Áõ°¡ÇÒ Àü¸ÁÀÌ´Ù.
µö½ÃÅ© 3FS·Î ±¸ÇöÇÑ ½Ã½ºÅÛÀÇ Àбâ 󸮷®À» ºÐ¼®ÇÑ ±×·¡ÇÁ, Æò±Õ ÃÊ´ç 6.6Å×¶ó¹ÙÀÌÆ®ÀÇ ¾öû³ Àб⠼ӵµ¸¦ ÅëÇØ AIÀÇ °Ë»ö È¿À² µîÀ» Å©°Ô ²ø¾î¿Ã¸°´Ù / Ãâó=µö½ÃÅ©
ÇÑÆí µö½ÃÅ©°¡ 2024³â ¸» °ø°³ÇÑ ÆÄÀ̾î-ÇöóÀÌ ÆÄÀÏ ½Ã½ºÅÛ(3FS)µµ ¿£±×·¥ ±â¼ú°ú °áÇÕÇÑ´Ù. Çö´ëÀÇ ÄÄÇ»ÅÍ ½Ã½ºÅÛÀÇ ÀúÀåÀåÄ¡´Â ¼øÂ÷ Àб⿡ ÃÖÀûȵŠÀÖÀ¸³ª AI´Â ¹«ÀÛÀ§·Î µ¥ÀÌÅÍ¿¡ Á¢±ÙÇÑ´Ù. µö½ÃÅ©´Â ÆÄÀÏÀ» Àӽà ÀúÀåÇϴ ij½Ã ±â´ÉÀ» »©°í ¼öõ °³ÀÇ SSD¸¦ ÇϳªÀÇ ½Ã½ºÅÛÀ¸·Î º´·Ä ¿¬°áÇÑ´Ù. À̸¦ ÅëÇØ 180°³ÀÇ ½ºÅ丮Áö ³ëµå ±âÁØÀ¸·Î 6.6Å×¶ó¹ÙÀÌÆ®ÀÇ Àб⠼ӵµ¸¦ ¹ßÈÖÇØ AI ¼º´É ¹× °Ë»ö È¿À²À» ±Øµµ·Î ³ôÀδÙ. ¿£±×·¥Àº D·¥, 3FS´Â SSD ¼ö¿ä¸¦ Å©°Ô ²ø¾î¿Ã·Á ½ÃÁßÀÇ Á¦Ç° °¡°ÝÀÌ ¿À¸£´Â °ÍÀÌ´Ù.
µö½ÃÅ©, ±Ô¸ð È®Àå¿¡¼ È¿À² Áß½ÉÀ¸·Î Àü ¼¼°è AI üÁú °³¼±
µö½ÃÅ© ÃֽЏðµ¨ÀÇ ¼ºñ½º °¡°Ý, ¿ÀÇÂAI³ª ±¸±Û¿¡ ºñÇØ 10ºÐÀÇ 1 ¼öÁØÀÌ´Ù / Ãâó=µö½ÃÅ©
µö½ÃÅ©ÀÇ AI ¸ðµ¨ÀÌ ³ôÀº È¿À²¼ºÀº °¡°Ý Àü·«¿¡¼µµ µå·¯³´Ù. GPT-5.2ÀÇ 100¸¸ ÅäÅ«´ç API °¡°ÝÀº ÀÔ·ÂÀÌ 1.75´Þ·¯(2534¿ø), Ãâ·ÂÀº 14´Þ·¯(2¸¸ 273¿ø)´Ù. Á¦¹Ì³ªÀÌ 3 ÇÁ·Î´Â ÀÔ·Â 2´Þ·¯(2896¿ø), Ãâ·Â 12´Þ·¯(1¸¸ 7377¿ø)·Î Ã¥Á¤µÆ´Ù. µö½ÃÅ© V3.2ÀÇ °æ¿ì ÀÔ·ÂÀÌ 0.28´Þ·¯(405¿ø), Ãâ·ÂÀº 0.42´Þ·¯(608¿ø)¿¡ ºÒ°úÇÏ´Ù. ±Û·Î¹ú AI ±â¾÷µéÀº ³ôÀº ÀÎÇÁ¶ó ºñ¿ëÀ» °¨´çÇϱâ À§ÇØ 10´Þ·¯ À̳»ÀÇ °¡°ÝÀ» Ã¥Á¤ÇÏ´Â °¡¿îµ¥ µö½ÃÅ©´Â 10¹è³ª Àú·ÅÇÑ °¡°ÝÀ¸·Î ½ÂºÎ¼ö¸¦ ¶ç¿ì´Â »óȲÀÌ´Ù. 1³â »õ µîÀåÇÑ »õ·Î¿î ±â¼ú µîÀ» Àû¿ëÇϸé Â÷¼¼´ë ¹öÀüÀÇ °æÁ¦¼º, ½ÃÀå °æÀï·ÂÀÌ ´õ ³ô¾ÆÁú ¼ö ÀÖ´Â »óȲÀÌ´Ù.
AI °³¹ß È¿À²ÀÌ ÁÁ¾ÆÁö¸ç ÀÎÇÁ¶ó ¼ö¿ä°¡ ÁÙ¾îµé °Å¶õ °üÃøµµ ÀÖ¾úÁö¸¸, Áö±ÝÀº Á¦º»½ºÀÇ ¿ª¼³ÀÌ ¹ß»ýÇÒ »óȲÀÌ´Ù. Á¦º»½ºÀÇ ¿ª¼³Àº ƯÁ¤ ÀÚ¿øÀÇ ÀÌ¿ë È¿À²ÀÌ ³ô¾ÆÁö¸é ¿ÀÈ÷·Á ±× ÀÚ¿øÀÇ Àüü ¼Òºñ·®Àº ´Ã¾î³´Ù´Â ÀÌ·ÐÀÌ´Ù. 19¼¼±â ´ç½Ã ¼®Åº »ç¿ëÀÇ È¿À²ÀÌ ³ô¾ÆÁöÀÚ ¿ªÀ¸·Î ¼®Åº ¼Òºñ°¡ Áõ°¡ÇÑ Çö»ó¿¡¼ ºñ·ÔµÈ´Ù. Çö´ë¿¡´Â È¿À²¼º Çâ»óÀ¸·Î »ó´ëÀû ÀÚ¿ø ºñ¿ëÀÌ ³·¾ÆÁö¸é ¼ö¿ä·®ÀÌ Áõ°¡Çϰí, °æÁ¦ ¼ºÀåÀÌ °¡¼ÓȵǸç ÀÚ¿ø ¼ö¿ä°¡ ´õ ´Ã¾î³´Ù. µö½ÃÅ©ÀÇ AI È¿À²È´Â Àå±âÀûÀ¸·Î AI ¼ö¿ä È®´ë¿¡ ºÐ¸íÇÑ ¿µÇâÀ» ÁÙ Àü¸ÁÀÌ´Ù.
¸¶ÀÌÅ©·ÐÀº Áö³ÇØ 12¿ù, ¼ÒºñÀÚ¿ë ÀúÀåÀåÄ¡ ¹× ¸Þ¸ð¸® ºê·£µå ¡®Å©·ç¼È¡¯ ö¼ö¸¦ ¹ßÇ¥Çß´Ù. »ê¾÷¿ë ¸Þ¸ð¸® ¹× ÀúÀåÀåÄ¡ ¼ö¿ä°¡ ÆøµîÇÏ¸ç µ·ÀÌ µÇ´Â ½ÃÀå¿¡¸¸ ÁýÁßÇϰڴٴ °ÍÀ¸·Î ÇØ¼®ÇÒ ¼ö ÀÖ´Ù / Ãâó=¸¶ÀÌÅ©·Ð
ÀÌ¹Ì ¸ðµ¨ °³¹ß»çµéÀº LLMÀÇ Å©±â¸¦ ´Ã¸®´Â °Í°ú ÇÔ²² MoE, MLA µîÀ» ÅëÇØ ¸ðµ¨ÀÇ µ¿ÀÛ È¿À²À» ²ø¾î¿Ã·Á ¼º´ÉÀ» ³ôÀÌ´Â °Íµµ º´ÇàÇϰí ÀÖ´Ù. ¸ðµ¨ ÀÛµ¿ È¿À²À» ³ô¿© Ãß·Ð ºñ¿ëÀ» ȹ±âÀûÀ¸·Î ³·ÃßÁö ¾Ê´Â´Ù¸é Àå±âÀûÀÎ »ýÁ¸Àº ¾î·Æ´Ù. ¹ÝµµÃ¼, ÀúÀåÀåÄ¡ ¾÷°è´Â ¼ÒºñÀÚ °¡Àü¿¡¼ AI ¼¹ö Áß½ÉÀ¸·Î üÁúÀ» °³¼± ÁßÀÌ´Ù. »÷µð½ºÅ©ÀÇ ÁÖ°¡´Â 11°³¿ù ¸¸¿¡ 1000%ÀÌ»ó ¿Ã¶ú°í ¸¶ÀÌÅ©·ÐÀº ¼ÒºñÀÚ¿ë Á¦Ç° »ý»ê Áß´ÜÀ» ¼±¾ðÇÏ°í ±â¾÷¿ë Á¦Ç°¸¸ ¸¸µé±â·Î Çß´Ù. ¿£ºñµð¾Æ°¡ ÃÖ±Ù Ãß·Ð¿ë ¹ÝµµÃ¼ ±â¾÷ÀÎ ±×·Ï(Groq)À» ÀμöÇÑ °Íµµ ºÐ»ê ó¸® ¾ÆÅ°ÅØÃ³¿¡ ÃÖÀûÈµÈ È¿À²±îÁö °í·ÁÇØ¾ß ÇÏ´Â »óȲÀÌ µÇ¾ú±â ¶§¹®ÀÌ´Ù.
µö½ÃÅ© ¼îÅ© ÀÌÈÄ 1³âÀÌ Áö³ª¸é¼ ±â¼úÀûÀ¸·Î ¸¹Àº °ÍµéÀÌ Áõ¸íµÇ¾úÀ¸¸ç, ½ÃÀå Àü¹ÝÀÇ Ã¼Áú°ú ±¸Á¶Àû °³¼±À¸·Î À̾îÁ³´Ù. AI ±â¾÷Àº ±Ô¸ðº¸´Ù È¿À²¿¡ ÁýÁßÇϱ⠽ÃÀÛÇß°í, ¹ÝµµÃ¼ ±â¾÷µéÀº ¼ÒºñÀÚ ½ÃÀåÀ» ¹ö¸®¸é¼±îÁö ±â¾÷¿ë ½ÃÀå¿¡ Àü³äÇϱ⠽ÃÀÛÇß´Ù. ƯÈ÷³ª µö½ÃÅ©´Â °ÅÀÇ ¸ðµç ±â¼úÀ» ¿ÀǼҽº·Î °ø°³Çϰí ÀÖ¾î¼ ±× ÆÄ±Þ·Â°ú È®»ê¼¼°¡ ´õ¿í °Å¼¼´Ù. ¹ÝµµÃ¼ °¡°ÝÀÌ °¡ÆÄ¸£°Ô ¿À¸£¸ç ½Ç»ýȰ±îÁö ¿µÇâÀ» ¹ÌÄ¡°í ÀÖÀ¸³ª ÀÌ·Î ÀÎÇÑ È¿À²¼º °³¼±ÀÌ Àå±âÀûÀ¸·Î´Â ´õ ¸¹Àº ½ÃÀå ±âȸ¿Í Çõ½ÅÀ» Á¦°øÇÒ Àü¸ÁÀÌ´Ù.
µö½ÃÅ©´Â Â÷¼¼´ë ¸ðµ¨ÀÎ µö½ÃÅ©-V4¸¦ ¿À´Â 2¿ù Áß¼øÂë °ø°³ÇÒ ¿¹Á¤ÀÌ´Ù. ÃáÀý ±â°£ÀÎ 2¿ù 17ÀÏ ÀüÈÄ·Î °ø°³µÉ °ÍÀ¸·Î ¿¹»óµÈ´Ù. ¾Õ¼ µö½ÃÅ©-V3°¡ Ãâ½ÃµÇ°í 1³âµµ µÇÁö¾Ê¾Æ AI ¾÷°è Àü¹ÝÀÇ ¼ºÇâÀÌ ¿ÏÀüÈ÷ ¹Ù²î¾ú´Âµ¥, ¿À´Â µö½ÃÅ©-V4´Â ¶Ç ¾î¶² °á°ú¸¦ ÃÊ·¡ÇÒÁö AI ¾÷°è Àü¹Ý¿¡ Àü¿îÀÌ °¨µ¹°í ÀÖ´Ù.
ITµ¿¾Æ ³²½ÃÇö ±âÀÚ (sh@itdonga.com)
»ç¿ëÀÚ Áß½ÉÀÇ IT Àú³Î - ITµ¿¾Æ (it.donga.com)