Jeg tror skam også der foregår en finpudsning i pre-training, altså den store træning inden finetuning.
Man vil tit også træne mange gange og se på hvordan de forskellige trænede modeller opfører sig. Man tager fx 10% eller deromkring af træningssættet fra og bruger som et testsæt. Man kunne så fx træne 10 forskellige modeller ved at bruge forskellige snit af 10% af træningsdata som testdata. Så udvælger man en af modellerne og det bliver så måske den “endelige” pretrained model, før man finetuner osv. Man skal dog også være forsigtig med denne udvælgelse da man risikerer mere overfitting.
Derudover er du jo også nødt til at træne igen hver gang du vil lave ændringer i modellens arkitektur, og du vil sikkert gerne prøve mange, mange forskellige konfigurationer af modellen for at se hvad der gør den bedre og hvilke konfigurationer der virker bedst sammen. Det er meget svært at forudse effekten af en ændring af modellen, så du er næsten nødt til at prøve at træne og se hvordan modellen klarer sig.
Jeg lærte om machine learning på datalogi-studiet så tror jeg har en ide om hvordan det foregår, men universitetet er selvfølgelig også langt fra virkeligheden (det har jeg oplevet i andre aspekter af hvad man har lært på studiet).
Opdateret: Hov. Er jeg gået for langt off topic?
Skrev min kommentar inden din edit :P
Hele pointen med et kommentar-træ er jo at man kan gå off-topic uden at det påvirker resten af debatten :)
Jeg lærte om machine learning på datalogi-studiet […]
Og Machine Learning var ikke udbredt nok til at være en del af Medialogistudiet dengang for mit vedkommende 😑 Så jeg har måttet forsøge at lære det hele på bagkant.
Tak for din kommentar. Teoretisk set giver det jo god mening, som du skriver, iterativt at stikprøve sig vej frem på dén måde.
Men når så man er færdig med al arbejdet, som udgør træningen, så er vi vel enige om, at man ender med en færdig model f.eks. “GPT-4o mini 2501 high much wow”, som folk så kan bruge, som den er?
Den kan så angiveligt fintunes yderligere, og laves en ny version ud fra.
Hmm… så har vi sådan set begge ret alt efter, hvem man spørger. Hvis jeg træner min egen LLM, og lægger den på huggingface, og aldrig gør mere ved den… Så er den jo “færdigtrænet”. Men hvis jeg er OpenAI og løbende piller ved finjusteringen af GPT4, så bliver træningen vel aldrig rigtigt færdig?
Men når så man er færdig med al arbejdet, som udgør træningen, så er vi vel enige om, at man ender med en færdig model f.eks. “GPT-4o mini 2501 high much wow”, som folk så kan bruge, som den er?
[…]
Hmm… så har vi sådan set begge ret alt efter, hvem man spørger. Hvis jeg træner min egen LLM, og lægger den på huggingface, og aldrig gør mere ved den… Så er den jo “færdigtrænet”. Men hvis jeg er OpenAI og løbende piller ved finjusteringen af GPT4, så bliver træningen vel aldrig rigtigt færdig?
Jojo klart. I sidste ende står du med en model, især hvis du bare selv har trænet den, selvfølgelig. Men selv med ChatGPT er det jo ikke bare en model. Du har vel fx oplevet at du får to svar på en forespørgsel hvor den beder dig vurderer hvilket svar er bedst? Det er jo to forskellige modeller der har givet det svar, selvom at du måske har valgt “GPT-4o mini whatever” som model. Det er helt sikkert noget de løbende udvikler tænker jeg.
Jeg tror skam også der foregår en finpudsning i pre-training, altså den store træning inden finetuning.
Man vil tit også træne mange gange og se på hvordan de forskellige trænede modeller opfører sig. Man tager fx 10% eller deromkring af træningssættet fra og bruger som et testsæt. Man kunne så fx træne 10 forskellige modeller ved at bruge forskellige snit af 10% af træningsdata som testdata. Så udvælger man en af modellerne og det bliver så måske den “endelige” pretrained model, før man finetuner osv. Man skal dog også være forsigtig med denne udvælgelse da man risikerer mere overfitting.
Derudover er du jo også nødt til at træne igen hver gang du vil lave ændringer i modellens arkitektur, og du vil sikkert gerne prøve mange, mange forskellige konfigurationer af modellen for at se hvad der gør den bedre og hvilke konfigurationer der virker bedst sammen. Det er meget svært at forudse effekten af en ændring af modellen, så du er næsten nødt til at prøve at træne og se hvordan modellen klarer sig.
Jeg lærte om machine learning på datalogi-studiet så tror jeg har en ide om hvordan det foregår, men universitetet er selvfølgelig også langt fra virkeligheden (det har jeg oplevet i andre aspekter af hvad man har lært på studiet).
Skrev min kommentar inden din edit :P
Hele pointen med et kommentar-træ er jo at man kan gå off-topic uden at det påvirker resten af debatten :)
Og Machine Learning var ikke udbredt nok til at være en del af Medialogistudiet dengang for mit vedkommende 😑 Så jeg har måttet forsøge at lære det hele på bagkant.
Tak for din kommentar. Teoretisk set giver det jo god mening, som du skriver, iterativt at stikprøve sig vej frem på dén måde.
Men når så man er færdig med al arbejdet, som udgør træningen, så er vi vel enige om, at man ender med en færdig model f.eks. “GPT-4o mini 2501 high much wow”, som folk så kan bruge, som den er?
Den kan så angiveligt fintunes yderligere, og laves en ny version ud fra.
Hmm… så har vi sådan set begge ret alt efter, hvem man spørger. Hvis jeg træner min egen LLM, og lægger den på huggingface, og aldrig gør mere ved den… Så er den jo “færdigtrænet”. Men hvis jeg er OpenAI og løbende piller ved finjusteringen af GPT4, så bliver træningen vel aldrig rigtigt færdig?
Jojo klart. I sidste ende står du med en model, især hvis du bare selv har trænet den, selvfølgelig. Men selv med ChatGPT er det jo ikke bare en model. Du har vel fx oplevet at du får to svar på en forespørgsel hvor den beder dig vurderer hvilket svar er bedst? Det er jo to forskellige modeller der har givet det svar, selvom at du måske har valgt “GPT-4o mini whatever” som model. Det er helt sikkert noget de løbende udvikler tænker jeg.