一、基础概念和模型参数介绍 

1. Prompt          

在大语言模型中，"Prompt"（提示）指的是用户输入的文本或问题，它作为模型开始生成回复的初始信息。Prompt的质量和准确性对于模型生成的回复至关重要，它直接影响到模型的输出内容和质量。        

Prompt通常可以是一个简短的问题、一个完整的句子，甚至是一个段落。它为模型提供了上下文和指导，帮助模型理解用户的意图和需求，并且指导模型在回复时保持一致性和相关性。通过不同的Prompt，用户可以引导模型生成不同风格、内容和深度的回复。

2. Temperature

LLM 生成是具有随机性的，在模型的顶层通过选取不同预测概率的预测结果来生成最后的结果。我们一般可以通过控制 temperature 参数来控制 LLM 生成结果的随机性与创造性Temperature 一般取值在 0~1 之间，当取值较低接近 0 时，预测的随机性会较低，产生更保守、可预测的文本，不太可能生成意想不到或不寻常的词。当取值较高接近 1 时，预测的随机性会较高，所有词被选择的可能性更大，会产生更有创意、多样化的文本，更有可能生成不寻常或意想不到的词。

简单来说，temperature 的参数值越小，模型就会返回越确定的一个结果。如果调高该参数值，大语言模型可能会返回更随机的结果。在实际应用方面，对于质量保障（QA）等任务，我们可以设置更低的 temperature 值，以促使模型基于事实返回更真实和简洁的结果。 对于文章创作或其他创造性任务，可以适当调高 temperature 参数值。

3. Top_p

同样，使用 top_p（与 temperature一起称为核采样的技术），可以用来控制模型返回结果的真实性。如果需要准确和事实的答案，就把参数值调低。如果想要更多样化的答案，就把参数值调高一些。 一般建议是改变 Temperature 和 Top_P 其中一个参数就行，不用两个都调整。

4. Max Length 

可以通过调整Max Length 来控制大模型生成的 token 数。指定 Max Length 有助于防止大模型生成冗长或不相关的响应并控制成本。 

5. Stop Sequences         

stop sequence 是一个字符串，可以阻止模型生成 token，指定 stop sequence 是控制大模型响应长度和结构的另一种方法。例如，您可以通过添加 “11” 作为 stop sequence来告诉模型生成不超过 10 个项的列表。 

6. Frequency Penalty         

frequency penalty 是对下一个生成的 token 进行惩罚，这个惩罚和 token 在响应和提示中出现的次数成比例， frequency penalty 越高，某个词再次出现的可能性就越小，这个设置通过给 重复数量多的 Token 设置更高的惩罚来减少响应中单词的重复。 

7. Presence Penalty         

presence penalty 也是对重复的 token 施加惩罚，但与 presence penalty 不同的是，惩罚对于所有重复 token 都是相同的。出现两次的 token 和出现 10 次的 token 会受到相同的惩罚。 此设置可防止模型在响应中过于频繁地生成重复的词。 如果您希望模型生成多样化或创造性的文本，您可以设置更高的 presence penalty，如果您希望模型生成更专注的内容，您可以设置更低的 presence penalty。一般建议是改变 frequency penalty和 presence penalty其中一个参数就行，不要同时调整两个。 

8. System Prompt

在使用 ChatGPT API 时，可以设置两种 Prompt：一种是 System Prompt，另一种是 User Promp。System不是必需的，但有助于设定 assistant的整体行为，帮助模型了解用户的需求，并根据这些需求提供相应的响应。可以通过设置 System Prompt 来对模型进行一些初始化设定。

天津联才科技发展有限公司是一家为企业提供互联网系统技术方案和网站建设服务的企业。公司创立于2015年，主要为政府、国企、国内上市公司、国外公司提供专业的品牌服务和技术开发服务。

自2015年成立以来，我们一直在帮助企业实现具有影响力的、行业特定的品牌、官网及软件系统解决方案。我们为企业提供从需求分析、功能规划、交互设计、原型设计、系统运维的整体软件开发技术解决方案。 联才科技始终关注有前景的软件开发集成框架和培养经验丰富的技术开发团队，为我们的客户提供优异的互联网解决方案。