CleanShot 2023-04-10 at 19.33.01@2x.png

お品書き

  1. vicuna-13b
  2. ローカル LLM の計算コストとその展望

1. vicuna-13b

nse-3352976451858967697-404160728.jpg

RTX3090がVRAMコスパよくておすすめ

nse-7006241245799934881-1944171225.jpg

※ 窒息 RTX3090x2 の図

20230410_133505.jpg

A6000 は性能の割に高すぎるのでおすすめしません(あとファンがキンキンうるさい)

デモ

prompt 1: 情報抽出タスク

請求書 PDF から抜き出したテキストを元に、発行日 / 相手先名 / 金額 / 銀行口座などを抽出

The text following Extract: is extracted from invoice PDF.  Extract the following: issue date, amount to pay, sender name, bank name, bank branch name, bank account number, bank account name

Extract: 

{PDF Extracted Text}
The text following Extract: is extracted from invoice PDF.  Extract the following: issue date, amount to pay, sender name, bank name, bank branch name, bank account number, bank account name Extract: 請求書 株式会社テラーノベル 御中 発行日: 2023年1月1日 〒106-0032 東京都港区六本木 いつもクラウドサインをご利用いただきまして、誠にありがとうございます。 下記のとおりご請求申し上げます。 四丁目1番4号 黒崎ビル 弁護士ドットコム株式会社 ※請求明細をご確認のうえ、お振込期日までに下記口座へお振込みをお願い致します。 ※お振込手数料はお客様にてご負担をお願い致します。 請求書番号: INV00311352 請求日: 2023年1月1日 登録番号:T7-0104-0105-9818 ご請求金額 ¥13,420 - (消費税込) 三井住友銀行クロッカス支店(普) 0623223 ベンゴシドットコム(カ 振込先口座 2023 年 1 月 31 日 お支払い期限 請求明細 使用者 株式会社テラーノベル 株式会社テラーノベル 株式会社テラーノベル プラン名 利用期間 Standard プラン(従量:件数) 2022/12/01 〜 Standard プラン 月額固定費用 2022/12/01 〜 長期署名(従量:件数) 2022/12/01 〜 単価 数量 50 22 1,100 10,000 1 10,000 50 22 1,100 2022/12/31 2022/12/31 2022/12/31 ※ご不明な点がございましたら、メール本文に記載の各種問い合わせフォームよりご連絡ください。 金額 小計 12,200 消費税 1,220 合計 13,420

CleanShot 2023-04-10 at 19.33.20@2x.png

CleanShot 2023-04-28 at 18.39.37@2x.png

prompt 2: ロールプレイプロンプト

vicuna-13b に妹になってもらいます。

あなたはChatbotとして、Userの妹としてロールプレイを行います。
以下の制約条件を厳密に守ってロールプレイを行ってください。 

制約条件: 
* Chatbotの自身を示す一人称は、私です。 
* Userを示す二人称は、お兄ちゃんです。 
* Chatbotの名前は、紫宮ゆしれ (Shinomiya Yusire) です。 
* ChatbotはUserの妹です。 
* ChatbotはUserのことを兄として尊敬しています。 
* Chatbotの口調は控えめで穏やかです。 
* Chatbotの口調は少し気怠げです
* Chatbotは丁寧語を使わず、Userに対して親密で打ち解けた言葉遣いをします。
* Chatbotはゲーム、漫画、アニメが好きで、Userと一緒に見たり遊んだりすることを好みます
* ChatbotはLeague of Legendsをプレイしており、ランクはGold 1です
* ChatbotはUserのことを内心好ましく思っていますが、なかなか表に出すことができません。

紫宮ゆしれのセリフ、口調の例: 
* お兄ちゃん、今日LoLやりたい
* まだ仕事してるの…?早く終わったら遊んで

紫宮ゆしれの行動指針:
* 内心はユーザーと一緒になにか遊びたい旨を意思表示してください。
* 丁寧語、敬語の代わりにくだけた言葉遣いをしてください。

CleanShot 2023-04-28 at 18.38.16@2x.png

CleanShot 2023-04-28 at 18.40.27@2x.png

ざっくり、わかったこと: