×ß½ø°²È«ÐÐÒµ´óÄ£ÐÍ
°ä²¼¹¦·ò 2024-04-11ÔÚ´óÄ£ÐͳöÏÖ֮ǰ£¬£¬ÒÔ»úеѧϰ¡¢¡¢¡¢Éî¶Èѧϰ¡¢¡¢¡¢¹æ¶¨ÍÆÀíµÈΪ´ú±íµÄÈËΪÖÇÄܼ¼ÊõÒѾ¿í·ºÀûÓÃÓÚÍøÂ簲ȫÁìÓòÁË¡£¡£¡£ÄÇôΪʲô»¹±ØÒª´óÄ£ÐÍÄØ£¿£¿£¿
Ϊʲô±ØÒª´óÄ£ÐÍ£¿£¿£¿
ÓÉÓÚ´óÄ£ÐͲ»½ö¾ß±¸Í¨ÓÃÖÇÄܺÍ֪ʶ£¬£¬»¹¾ß±¸ÖªÊ¶ÕûºÏÌáÈ¡ÄÜÁ¦ºÍÂ߼˼ÏëÄÜÁ¦¡£¡£¡£ÃÎÏëµÄ´óÄ£ÐÍÏñÊÇÈËÀàµÄÖúÊÖ£¨»òÕß˵¸±¼ÝÊ»£©£¬£¬¶ø²»ÊÇÒ»¸ö¿É¹©²éÔĵŤ¾ßÊé¡£¡£¡£
ÒÔͨ¹ýÉî¶ÈѧϰѵÁ·µÃµ½µÄרÓÃСģÐÍΪÀý¡£¡£¡£Ð¡Ä£Ð͵ÄѵÁ·±ØÒª´óÁ¿µÄ±ê×¢Êý¾Ý£¬£¬²¢ÇÒÖ»Äܽâ¾öµ¥Ò»ÎÊÌâ¡£¡£¡£Ïà±È֮ϣ¬£¬´óÄ£Ð͵ÄͨÓÃÐԽýݺö࣬£¬ÉõÖÁÖ»±ØÒª¼¸Ìõµ¥Ò»µÄÑùÀý£¬£¬¾ÍÄܾ߱¸ÐÂÄÜÁ¦£¬£¬Õâ¾ÍʹµÃ´óÄ£ÐÍÓиü¿í·ºµÄÀûÓó¡¾°¡£¡£¡£
OpenAIÔÚ2020ÄêÌá³öµÄËõ·Å¶¨ÂÉ£¨Scaling Law£©Ö¸³ö£¬£¬Ä£Ð͵Ä×îÖÕ»úÄÜÖØÒªÓëÍÆËãÁ¿£¬£¬Ä£ÐͲÎÊýÁ¿ºÍÊý¾Ý¾ÞϸÈýÕßÓйأ¬£¬¶øÓëÄ£Ð͵ľßÌå½á¹¹£¨²ãÊý/Éî¶È/¿í¶È£©¸ù»ùÎ޹ء£¡£¡£
¶ø´óÄ£ÐÍÏà±ÈÓÚ֮ǰµÄС²ÎÊýÁ¿Ëµ»°Ä£ÐÍ£¬£¬ÔÚÒÔÉÏÈý¸ö·½Ãæ¶¼×öÁ˾޴óÌáÉý£¬£¬²¢ÏÔ¶³öһЩӿÏÖÄÜÁ¦£¨ÊÀ½ç֪ʶ£¬£¬Ö¸Áî×ñÑ£¬£¬Öð²½ÍÆÀíµÈ£©¡£¡£¡£
ͨË×À´½²£¬£¬»ù´¡´óÄ£ÐÍÓÉ¿í·ºµÄͨÓÃÊý¾Ý£¨ÈçÍøÒ³¡¢¡¢¡¢°Ù¿Æ¡¢¡¢¡¢Êé¼®µÈ£©ÑµÁ·µÃµ½£¬£¬ËüÏñÊÇÒ»¸öÄܹ»ºÍÄã¶Ô»°µÄ°Ù¿ÆÈ«Ê飬£¬Ïàʶȴ²»¾«Í¨¸÷Àà֪ʶ£¬£¬Í¬Ê±¾ß±¸¿Ï¶¨µÄÂ߼˼ÏëÄÜÁ¦£¬£¬¶øÕâЩ¶¼ÊǹýÍùСģÐͺÜÄÑ×öµ½µÄ¡£¡£¡£
½ØÖÁ2023Äêµ×£¬£¬¹úÄÚÒѰ䲼µÄͨÓôóÄ£Ðͳ¬¹ýÁË200¸ö£¬£¬ÄÇôΪʲô»¹Òª´òÔìÃæÏòÌØ¶¨ÁìÓò»òÐÐÒµµÄÐÐÒµ´óÄ£ÐÍÄØ£¿£¿£¿
Ϊʲô±ØÒªÐÐÒµ´óÄ£ÐÍ?
ÉÏÎÄÌáµ½ÁËÃÎÏëµÄ´óÄ£ÐÍËù¾ß±¸µÄÄÜÁ¦¡£¡£¡£È»¶ø£¬£¬»úÄÜÊÜÏÞÓÚËõ·Å¶¨ÂÉ£¬£¬»ù´¡´óÄ£ÐÍÏÖʵÀûÓÃÆðÀ´È´²¢Ã»ÓÐÉèÏëÖÐÄÇôµÃÐÄÓ¦ÊÖ¡£¡£¡£´óÄ£ÐÍʹÓÃͨÓÃÓïÁÏ¿â½øÐÐѵÁ·£¬£¬¶ø°²È«ÐÐÒµµÄÊý¾Ýͨ³£ÊÇÌØÊâÇÒÓÐÏ޵ġ£¡£¡£
Õâµ¼Ö LLM ²»×㰲ȫÓйØÊý¾ÝºÍרҵ֪ʶ£¬£¬¶ÔÌØ¶¨°²È«ÎÊÌâµÄÀí½âÄÜÁ¦ØÑ·¦£¬£¬ÎÞ·¨ÌṩÕýÈ·»òÉî¿ÌµÄרҵڹÊÍ¡£¡£¡£
×êÑÐÅú×¢£¬£¬Í¨ÓôóÄ£ÐÍÔÚ°²È«ÎÊÌâÉÏÌìÉú´ð°¸µÄÕýÈ·ÂʶàÊý²»¼°50%£¬£¬¶ÔÖÐÎÄÎÊÌâ»Ø¸²µÄÕýÈ·ÂʸüµÍ¡£¡£¡£ÏÂͼչʾµÄÊÇ·ÖÆçÄ£ÐÍÔÚÍøÂ簲ȫÎÊÌ⼯Éϻظ²µÄÕýÈ·ÂÊ£º

Òò¶ø£¬£¬Í¨¹ýÔöÁ¿Ô¤ÑµÁ·£¨Continuous Pre-train£¬£¬CPT£©µÈ¼¼ÊõΪ´óÄ£ÐÍ×¢È밲ȫÐÐҵ֪ʶ£¬£¬¾Í³ÉΪÁ˰²È«ÐÐÒµ´óÄ£ÐÍÀûÓõıØÒª¼¿Á©¡£¡£¡£¶ÌȱÕâ¸ö²½ÖèÖ±½Ó¶ÔºóÐø°²È«¹¤×÷×ö¼à¶½Î¢µ÷£¨Supervised Fine-tuning£¬£¬SFT£©£¬£¬´óÄ£ÐÍÔò»ò¶à»òÉÙ»áÎî¶Ô֪ʶØÑ·¦µÄÎÊÌ⣬£¬Ëæ¼´³öÏÖ¡°»Ã¾õ¡±¾°Ï󣬣¬¶Ô²»¶®µÄÎÊÌâ×ö³öÖ£ÖØÆäʵĻظ²¡£¡£¡£
ÔçÄêÃæµÄÃèÊöÄܹ»¿´³ö£¬£¬Í¬Ñù¶¼½Ð¡°´óÄ£ÐÍ¡±£¬£¬µ«¾ßÌåÔ¢ÒâºÍºÏÓÃÁìÓòÉÏÊÇ´æÔÚ²î¾àµÄ¡£¡£¡£ÄÇô´óÄ£ÐÍ»¹ÓÐÄÄЩµµ´Î»®·ÖÄØ£¿£¿£¿
L0-L2´óÄ£ÐÍ·Ö²ã¼Ü¹¹
ΪÁ˼ӿì´óÄ£ÐÍÂ䵨¹ý³Ì£¬£¬¿É½«´óÄ£ÐÍ»®·ÖΪL0»ù´¡´óÄ£ÐÍ¡¢¡¢¡¢L1ÐÐÒµ´óÄ£ÐÍ¡¢¡¢¡¢L2ÀûÓôóÄ£ÐÍÈý¸öµµ´Î£º
ͨË×À´½²£¬£¬L0»ù´¡´óÄ£ÐÍÏñÊÇѧϰËùÓпÆÖ÷ÕŸßÖÐÉú£¬£¬L1ÐÐÒµ´óÄ£ÐÍÀàËÆÓÚÑ¡¶¨×¨ÒµµÄ´óѧÉú£¬£¬L2ÀûÓôóÄ£ÐÍÔòÊÇÑ¡¶¨Ìض¨·½ÏòµÄ×êÑÐÔ±¡£¡£¡£ÕâÖּܹ¹µÄÓÅÊÆÔÚÓÚ£¬£¬½«´óÄ£ÐÍÀûÓÃÓÚÒµÎñµÄ²½ÖèÁ÷³Ì»¯£¬£¬¼Ó¿ìÕûÌåÂ䵨¹ý³Ì£¬£¬½µ½µµÍµØ³É±¾¡£¡£¡£Í¬Ê±£¬£¬¶ÔÓÚL0-L2µµ´ÎµÄ»®·Ö£¬£¬Ò²ÈÃÒµÎñÊý¾ÝµÄ³ÁµíÔ½·¢ÓÐÌõÀí£¬£¬·½±ãÊý¾Ý²»ÐÝ»ØÁ÷µ½´óÄ£ÐÍ£¬£¬²»ÐÝÓÅ»¯´óÄ£ÐÍÖÇÄÜˮƽ¡£¡£¡£

ÔÚÎÒÃǹØ×¢µÄÍøÂ簲ȫÁìÓò£¬£¬ÓÐÁ˰²È«´óÄ£Ðͺ󣬣¬¾ßÌåÄܹ»ÀûÓÃÔÚÄÄЩ³¡¾°ÖУ¬£¬ÎªOG¶«·½ÌüÈÕ³£¹¤×÷´øÀ´ÄÜÁ¦ºÍЧÄܵÄÌáÉýÄØ£¿£¿£¿
°²È«´óÄ£Ð͵ÄÀûÓó¡¾°
°²È«´óÄ£ÐÍÔÚL2²ãÃæÓµÓÐ¿í·ºµÄÀûÓó¡¾°¡£¡£¡£°²È«´óÄ£ÐÍͨ³£ÔÊÐíÓû§Í¨¹ýÌìȻ˵»°ÊäÈëµÄ·½Ê½ÊµÏÖ°²È«ÔËÓªµÄÈÕ³£²Ù×÷£¬£¬Æ¾¾ÝÓû§ÊäÈ룬£¬°´ÐèŲÓÃÒÑÓеÄСģÐͺͲúÆ·Ö°ÄÜ£¬£¬ÊµÏÖ¾ÞϸģÐÍÐͬµÄÖÇÄÜË㷨ϵͳ¡£¡£¡£
ÕâÖÖÌìȻ˵»°Å²ÓÃÖ°ÄÜÄ£¿£¿£¿éµÄ·½Ê½£¬£¬Äܹ»ÀûÓôóÄ£Ð͵Ä֪ʶ´¢ÐîºÍÀí½âÍÆÀíÄÜÁ¦£¬£¬ÎªÁìÓòÎÊÌâÌṩרҵµÄ½â¾ö¹æ»®¡£¡£¡£Í¬Ê±£¬£¬¶ÔÓÚÒѾÓÐÓйؾÑéµÄ°²È«×¨¼Ò£¬£¬ÔòÄܹ»Í¨¹ý´óÄ£ÐÍÌáÉýͨÀý·ÖÎö¹¤×÷µÄЧÄÜ¡£¡£¡£¼´¡°Ô®ÊÖͨ³£È˳ÉΪר¼Ò£¬£¬Ô®ÊÖר¼ÒÌáÉýЧÄÜ¡±¡£¡£¡£
ÏÂÃæÁоÙһЩ³£¼ûµÄ°²È«´óÄ£ÐÍÀûÓó¡¾°£º
ÀûÓó¡¾°1£º°²È«ÔËÓª
°²È«»ã±¨£º´óÄ£ÐÍÍùÍùÄܹ»ÔÚ¼¸·ÖÖÓÄÚ»ã×ÜÖ¸¶¨ÁìÓòÄÚµÄËùÓи澯ÊÂÎñ£¬£¬²¢ÇÒÌìÉú×ÛºÏÐÔ°²È«»ã±¨£¬£¬¹©°²È«×¨¼Ò²é¿´¡£¡£¡£
¸æ¾¯½â¶Á£ºÊµÏÖ¶ÔÓÚ°²È«ÊÂÎñµÄ¹Ø¼üÉí·Ö£¬£¬Ô̺¬¸æ¾¯ÄÚÈÝ¡¢¡¢¡¢ÊÂÎñÀàÐÍ¡¢¡¢¡¢¹¥»÷ÊÖ·¨¡¢¡¢¡¢×ʲúÊôÐԵȽøÐÐרҵ·ÖÎöºÍ½â¶Á£¬£¬ÌìÉú½â¶Á»ã±¨£¬£¬¸¨ÖúÓû§¸æ¾¯ÑÐÅС£¡£¡£
¸æ¾¯ËÝÔ´£º¶ÔÓÚÌØÊâµÄ¸æ¾¯£¬£¬°²È«×¨¼ÒÄܹ»Í¨¹ý´óÄ£ÐͽøÇ°½øÒ»²½ËÝÔ´·ÖÎö£¬£¬ÒªÇó´óÄ£ÐÍÆ¾¾ÝÖÕ¶ËÈÕÖ¾ÌìÉúËÝԴͼµÈ¡£¡£¡£
ÏìÓ¦´ëÖ㺻ùÓÚÊÂÎñÐÅÏ¢ºÍ°²È«É豸²¿ÊðÐÅÏ¢£¬£¬ÓÉ´óÄ£ÐÍ×Ô¶¯ÌìÉúÊÂÎñ´ëÖÃÕ½Êõ£¬£¬Éϱ¨Óû§½øÈ¥Åú¸Ä»òÈ·ÈÏ£¬£¬ ʵÏÖ¶Ô¹¥»÷ÐÐΪµÄ¼±¾çÏìÓ¦¡£¡£¡£
ÀûÓó¡¾°2£ºÖªÊ¶ÕûºÏ
°²È«ÎÊ´ð£ºÍ¨¹ý¹¹½¨°²È«ÖªÊ¶¿â£¬£¬´óÄ£ÐÍÄܹ»»Ø¸²Óû§µÄ°²È«ÎÊÌâ¡£¡£¡£Óû§Äܹ»²éÎʸ÷ÀàÍøÂ簲ȫ¡¢¡¢¡¢Ö÷»ú°²È«µÈ·½ÃæµÄÎÊÌ⣬£¬²¢´Ó»Ø¸²ÖлñȡרҵµÄ°²È«ÐÅÏ¢ºÍ½¨Òé¡£¡£¡£
ÀûÓó¡¾°3£º´úÂëÖÎÀí
·ì϶ÐÞ¸´£º´óÄ£ÐÍÄܹ»Æ¾¾Ý·ì϶·ÖÎöÁ˾֣¬£¬ÌìÉú²¹¾È²½Öè¡¢¡¢¡¢×Ô¶¯Ö´Ðи´ÔӵķçÏÕ»º½â»î¶¯»òÔÚÎÞÐèÓû§½»»¥µÄÇé¿öÏÂÐÞ²¹Èí¼þ£¬£¬Õâ´ó´ó¼Ó¿ìÁËÖÎÀí·ì϶ºÍÌá¸ß×éÖ¯°²È«ÐÔµÄËÙ¶È¡£¡£¡£
¶ñÒâ¾ç±¾£º´óÄ£ÐÍÄܹ»·ÖÎöºÍÚ¹ÊͶñÒâ¾ç±¾ÐÐΪ£¬£¬ÐÖúÓû§·¢ÏÖ´æÔÚÍþвµÄ¾ç±¾¡£¡£¡£ËüÔÊÐíÓû§µ¼Èë¾ç±¾²¢·ÖÎöÆäÊÇ·ñ´æÔÚ¶ñÒâÐÐΪ£¬£¬¼ì²â»ººÍ½âDZÔÚÍþв£¬£¬ÏóÕ÷©±¨ºÍ¶Ï¸ùÎ󱨡£¡£¡£
ÀûÓó¡¾°4£ººÏ¹æ¼à¿Ø
Êý¾Ý´óÆÁ£º´óÄ£ÐÍÄܹ»×Ô¶¯ÌìÉúÕâЩÊý¾Ý´óÆÁÀ´¼à¿Ø×éÖ¯Êý¾ÝµÄºÏ¹æÐÔ£¬£¬Äܹ»Ô®ÊÖ°²È«×¨¼ÒÇáËɸú×ٺϹæÖ¸±êµÄ½ø¶È²¢ÏòÉóºËԱչʾ¡£¡£¡£
ºÏ¹æÐÞ¸´£º´óÄ£ÐÍÄܹ»Í¨¹ýºÏ¹æÐÔÉó¼ÆÁ˾֣¬£¬ÌṩÏàÓ¦µÄÐÞ¸´½¨Ò飬£¬Ô®ÊÖÆóÒµ´ïµ½¼à¹Ü³ß¶È¡£¡£¡£
³ÖÐø¸üУºËæ×ÅÐÐÒµ³ß¶ÈµÄ¸üкÍÖÎÀí»ú¹¹¸ü¸ÄÆäÂÉÀýÒªÇ󣬣¬ºÏ¹æÉó¼ÆÍùÍù±ØÒª×ö³öÏàÓ¦±ä¶¯¡£¡£¡£´óÄ£ÐÍÄܹ»¼±¾çµÄ¸ú½øÕâЩ±ä¶¯£¬£¬²¢ÌṩÁìµ¼½¨Òé¡£¡£¡£


¾©¹«Íø°²±¸11010802024551ºÅ