ChatGPTはテキストの分類が得意と聞いて
tag: chatgpt
自分では使い道が全然思い浮かばなかったけど以下のまとめを見て感心することしきり。
Skebの利用規約違反チェックの例は言ってみればテキストの分類だしこれは割とすぐに使えそう。
CGMやSNS周辺だと使える用途が多そうだ。
テキストの分類で言えば自分の書いたブログやTweetの文章をChatGPTに解析させて好感度を根拠付きで判定させるのもいいかもしれない。
イケメンな内容のブログ記事が書けるかも？
ChatGPT API発行してみた
tag: chatgpt
今の所、API呼び出しはChat GPT-3.5までしか公開されていない模様。
Chain of Thought (思考の連鎖) を表現するchat APIは、ChatGPT-3.5の頃はmessages配列に過去の会話履歴を全部送信する形で実現していたのか。
APIの返事はまあまあ遅い(ChatGPT-4の場合だと30秒近くかかる)らしく、streamフラグを指定して、結果が出た所から徐々に表示するみたいな使い方ができるように工夫されているようだ。
ChatGPTのWebインターフェースだと返事がゆっくり表示されていたけど、アレはstream表示をしていたんだな。
要求を出すところ。ChatGPT-3.5-turbo。
import json
import openai
def chat():
""" チャット型API。Chain of Thoughtを使う。会話履歴はmessagesに連結していく。
"""
res = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages=[
# {
# "role": "system",
# "content": "日本語で質問します。日本語で返答してください。"
# },
{
"role": "user",
"content": "古代ローマ帝国について私が学習する時に私が知っているべき５個のキーポイントは何？"
},
],
)
return res
# 呼び出し チャット型
res = chat()
strres = json.dumps(res, ensure_ascii=False, indent=2)
print(strres)
ChatGPTからの返事 openai.ChatCompletion.create
{
"id": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
"object": "chat.completion",
"created": 1679794740,
"model": "gpt-3.5-turbo-0301",
"usage": {
"prompt_tokens": 51,
"completion_tokens": 571,
"total_tokens": 622
},
"choices": [
{
"message": {
"role": "assistant",
"content": "1. ローマ共和政：紀元前509年から紀元前27年にかけて、ローマは共和政として統治されていた。 この期間、政治的権力は貴族層によって支配され、執政官や元老院が重要な役割を果たした。\n\n2. ローマ帝国の創設：紀元前27年、オクタウィアヌスが元首となり、ローマ帝国が成立した。彼は後にアウグストゥスとして知られ、帝国の最 初の皇帝として統治し、現代世界で知られるローマ文化の発展に重要な役割を果たした。\n\n3. 帝国の拡大：帝国の成立後、ローマは周辺地域を征服し、最盛期にはヨーロッパ、アフリカ、西アジアの大部分を支配下に置いた。この拡大には 軍事力と道路網の整備が大きく貢献した。\n\n4. 宗教の変化：ローマ帝国は当初、古代ローマ宗教を信仰していたが、後にキリスト教が広がり、313年のミラノ勅令によって公認された。キリスト教はローマ帝国の文化や社会に大きな影響を与え、現代でもその影響が見られる。\n\n5. 帝国の崩壊：ローマ帝国は5世紀に入ると西ローマ帝国と東ローマ帝国に分裂 し、476年に西ローマ帝国はオドアケルによって滅ぼされた。東ローマ帝国はその後も存続し、ビザンツ帝国として繁栄したが、ローマ帝国は古代世界の中で終焉を迎えた。"
},
"finish_reason": "stop",
"index": 0
}
]
}
実験用のメインルーチン。
#
# chatgpt main program
#
import os
import sys
import json
import argparse
import openai
# 定数
# 過去のメッセージを保存するファイル名
MESSAGES_FILE = 'message.json'
# デバッグモード
DEBUG_MODE = False
def completion(prompt: str, messages: list):
""" プロンプト型API。Chain of Thought は使用しない。質問毎に思考は途切れる。
"""
d = {'role': 'user', 'content': prompt}
messages.append(d)
response = openai.Completion.create(
model="text-davinci-003",
prompt=prompt,
temperature=0,
max_tokens=800,
top_p=1,
frequency_penalty=0.0,
presence_penalty=0.0,
)
# 応答のjsonを表示
strres = json.dumps(response, ensure_ascii=False, indent=2)
print(strres)
if 'choices' in response:
assistant_content = response['choices'][0]['text']
d = {'role': 'assistant', 'content': assistant_content}
messages.append(d)
print('')
print('prompt:')
print(prompt)
print('')
print('chatgpt:')
print(assistant_content)
return response
def chomp_messages(messages: list):
""" 過去発言のリストの中から、チャット内容のフラッシュを意味する"----"から始まる文字列が
最後に出現した位置より下のみのリストを作って返却する。
"""
# 最後に出現した位置を取得
i: int = 0
idx: int = 0
for d in messages:
role: str = d['role']
txt: str = d['content']
if role == 'system':
if txt.startswith('----'):
idx = i
i = i+1
# 新しくリストを作って返却
result = []
i = 0
for d in messages:
if idx < i:
result.append(d)
i = i+1
return result
def chat(prompt: str, messages: list):
""" チャット型API。Chain of Thoughtを使う。会話履歴はmessagesに連結していく。
"""
d = {'role': 'user', 'content': prompt}
messages.append(d)
# フラッシュ指定がある後のメッセージを抽出
flushed_messages = chomp_messages(messages)
response = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages=flushed_messages,
)
# 応答のjsonを表示
strres = json.dumps(response, ensure_ascii=False, indent=2)
print(strres)
if 'choices' in response:
assistant_content = response['choices'][0]['message']['content']
d = {'role': 'assistant', 'content': assistant_content}
messages.append(d)
print('')
print('prompt:')
print(prompt)
print('')
print('chatgpt:')
print(assistant_content)
return messages
def main(argv: list):
# APIキー初期化
api_key = os.getenv("OPENAI_API_KEY")
if api_key is None:
raise ValueError('環境変数 OPENAI_API_KEY が設定されていません。')
openai.api_key = api_key
# 引数解析初期化
parser = argparse.ArgumentParser(description='Description of ChatGPT client program')
parser.add_argument('--prompt', help='prompt string')
parser.add_argument('--flush', action='store_true', help='flush chat sequence')
parser.add_argument('--comp', action='store_true', help='single completion mode')
parser.add_argument('--chat', action='store_true', help='sequence chat mode')
parser.add_argument('--debug', action='store_true', help='debug mode')
args = parser.parse_args(argv)
# prompt = "What are 5 key points I should know when studying Ancient Rome?"
# prompt = "古代ローマ帝国について私が学習する時に私が知っているべき５個のキーポイントは何？"
prompt = None
if args.prompt:
prompt = args.prompt
if prompt is None:
print('プロンプトが指定されていません。')
return
# デバッグモード
if args.debug:
global DEBUG_MODE
DEBUG_MODE = True
# 動作モード
mode = 'comp'
if args.comp:
mode = 'comp'
if args.chat:
mode = 'chat'
# 発言履歴ロード
messages = []
if os.path.isfile(MESSAGES_FILE):
with open(MESSAGES_FILE, 'r', encoding='UTF-8') as fp:
messages = json.load(fp)
# フラッシュ指定があれば目印を挿入
if args.flush:
d = {
"role": "system", "content": "--------"
}
messages.append(d)
if mode == 'comp':
# 呼び出し 単発のcompletion型
completion(prompt, messages)
if mode == 'chat':
# 呼び出し 過去発言のsequence指定のチャット型completion型
chat(prompt, messages)
# 発言履歴セーブ
with open(MESSAGES_FILE, 'w', encoding='UTF-8') as fp:
json.dump(messages, fp, ensure_ascii=False, indent=2)
if __name__ == '__main__':
main(sys.argv[1:])
#
# end of file
#
質問の実行。
ChatGPTからの回答文もAPIに載せて過去の会話履歴として送っているので使用トークン数がバンバン増えていくｗｗｗ
トークン数課金なのやめてｗｗｗ
関連する話題を続けるには良い機能なんだけどね。
python ./src/chatgptmain.py --flush --chat --prompt "JavaScriptでWindows GUIを作成する時に、私が知っているべき５つのライブラリを教えて"
python ./src/chatgptmain.py --chat --prompt "Electronについて教えて"
python ./src/chatgptmain.py --chat --prompt "Electronのサンプルを表示して"
python ./src/chatgptmain.py --chat --prompt "Electronのインストール方法を教えて"
ChatGPT-4のプロンプトメモ (part 1)
tag: chatgpt
まずはプロンプトの基本的な所からメモ。
前置きで回答の信頼度を表示させたり、曖昧なら知らんけど表示を追加させる。 ChatGPTはとにかくいい感じにまとめて出力してくれるが、信頼度を表示させた方が良い。 というか標準で信頼度の出力はして欲しいｗ （人間だと信頼度の低い情報を出す場合は自信がないオーラを出してくるけどGPT-4は同じトーンで出力してくるので困る。）
コード生成はそれっぽいのを出してくれるが、(信頼度:8)くらいの出力はちょっとアヤシイｗ。 学習は2021年9月くらいまでのデータが元になっているとのことで最新のネタを聞いても古いネタが出力される。 (お絵描きAI向けdiffusersライブラリの使い方は出てこなかった)
定型文章作成はお手の物。まあファクトとか動く動かないとか関係無いしな。
リサーチについても信頼度を表示しておくと便利。 リサーチの出力結果には微妙に嘘が混じっていることがあるので鵜呑みにするのは危険。 調査開始時点の検索キーワードを入手するのに使うのが良いかも。
Webインタフェースで入力した文字列はOpenAIの学習に使われるので、秘密文書の添削とか機密コードの添削とかは頼めないのが難点か。
これローカル学習ができて情報を外に漏らさない社内ローカルオンプレで動くGPT-4(無理か..)とか、秘密は洩らさない契約のGPT-4とか販売すれば良いのにな。 （API経由で使うと情報漏れないぽい？）
p.s.
ローカル学習はお絵描きAIだとLoRAと呼ぶけど、GPT2の時代はファインチューニングって呼んでいたらしい。 以下はGPT-2日本語モデルでファインチューニングをやっている例。 モデルが大規模だと大量のメモリが必要になる模様。 GPT-4クラスの超大型言語モデルだとローカル学習はちとキツイか。
tag: edge, bing, chatgpt
Windows Update したら Edge ブラウザのサイドバーから ChatGPT が使用できるようになっていた
Edgeのサイドバーは ChatGPT-4 を使っているらしい。 返事が遅いけど、皆で使い倒しているからだろうか？
上のサイトにユーザー登録すれば（１時間に３０回までだが）無料でも使える ChatGPT-3.5 と比較すると、回答が良くなっている印象。
ChatGPT-4 良いなぁ。
これは OpenAIの方の ChatGPT Plus に加入してChatGPT-4が使用できる月額20ドルの有料プランを契約する価値はあるように感じる。
...。
早速 $20 の subscribe をやってみた。
んで ChatGPT-4 モデルを選択して質問したら 「We're currently processing too many requests. Please try again later.」という返事がｗｗｗ
惨敗である。
とりあえず今のところは有料だけど使えないサービスになってるので Windows PC なら Edge のサイドバーから無料のBing検索経由で使うのが良いかな。 スマホならBingアプリを入れて検索する感じかな？こちらはChatGPT-4かわからんけど(Microsoft アカウントによるサインインが必要)。
追記 3/22 Edgeのサイドバーだとチャットのコンテキスト情報を保持していないので本物のGPT-4の凄さは体験できない...。
気が向いた時に動いたかどうか記録しておくか。
| date time | ChatGPT-4 response | error message |
| 2023/03/17(金) 23:00 | BUSY | We're currently processing too many requests. Please try again later. |
| 2023/03/18(土) 03:45 | BUSY | Hmm...something seems to have gone wrong. Maybe try me again in a little bit. （４時間で５０回に制限中） |
| 2023/03/18(土) 13:21 | OK | 初めて動いたｗｗｗ （３時間で２５回に制限中） |
| 2023/03/19(日) 05:00 | OK | 普通に動いた！ （３時間で２５回に制限中） |
| 2023/03/19(日) 10:15 | OK | 普通に動いた！ （３時間で２５回に制限中） |
| 2023/03/20(月) 12:18 | OK | 動く（３時間で２５回に制限中） |
| 2023/03/20(月) 21:28 | OK | 動く（３時間で２５回に制限中） |
| 2023/03/21(火) 03:00 | BUSY | ログイン不能 |
| 2023/03/21(火) 08:35 | OK | 動く（３時間で２５回に制限中）（セッション情報なくなった） |
| 2023/03/21(火) 10:55 | OK | 動く（３時間で２５回に制限中）（セッション情報が取れないらしい） |
| 2023/03/22(水) 20:55 | OK | 動く（３時間で２５回に制限中）（セッション情報が取れないらしい） |
３回目で動いたけど、だんだん制限が厳しくなってきてるような...！？
週末だから仕事で使う人が減って動くようになったのか、アメリカ時間で平日の日中はダメなのか、もうちょい調査が必要だな。
アメリカ時間で土曜の午後、日曜の夜は動くっぽい。
はたしてアメリカ時間の月曜日の仕事時間でどうなるか...。
日本時間午前3時、東部時間14時、西部太平洋時間11時にはログインすら受け付けないｗｗｗＷｗｗＷｗｗｗ
アメリカでは平日の勤務時間内の負荷が高いので研究やら業務で使っている印象。 ギークが深夜に遊ぶおもちゃではない様子。
日本時間の8時30分には動くので、日本の勤務時間内なら動きそうな気配は感じる。 日本のAI研究者の人がChatGPT-4の過負荷に伴うサービス停止に言及しないのはこのためか。
深夜のおもちゃとして遊ぼうとしているとアメリカ時間の勤務時間と衝突して利用できないが。
日本時間の21時までなら動くっぽい。アメリカの東部時間では08時相当。アメリカの西部時間では05時相当。
pythonアプリ/ライブラリのgitリポジトリはスクリプト一発でセットアップできるの便利
automatic1111のリポジトリ https://github.com/AUTOMATIC1111/stable-diffusion-webui がそうなんだけど、webui.batを実行すると各種依存ライブラリなどを自動でインストールしてWEBサーバが起動するのは便利だった。
python言語ランタイムにパッケージマネージャーpipとvenvが標準で入っているのが大きい。 Javaで言うとmavenが標準搭載されているようなものか。
ChatGPTもStableDiffusionも変化が速いな
ChatGPTはAPI公開。 同時に Whisper APIという 音声からテキストを起こすAPIも公開。
StableDiffusionはLoRA(追加学習)とかControlNet(ポーズ指定)が登場。
まだ半年も経ってない気がするんだが...。
safetensors , ckpt 形式から diffusers に変換できるスクリプト
tag: diffusers, stable-diffusion
最近はsafetensorsで公開されているモデルが多いけど、diffusersから使えなくて困る。
上のコンバートスクリプトで変換すると使えるようになる。
トラックボールのお手入れにシリコンスプレー
トラックボールの回転にひっかかりが出るようになってしまったので対策を求めてGoogle検索。
なるほど。
ウチのはエレコムのM-XT2URBK-Gなので3点支持方式。
というわけで塗るだけで手軽そうなCRE シリコンスプレーを購入して試してみた。
なるほどつるつるな感触だ。
ティッシュの上でボールにシリコンスプレーを吹き付けて掃除している時点の感触からしてもうつるつるだｗ これは凄い。 ついでに支持側の３点にもシリコンスプレーを染み込ませたティッシュで拭いておく。
効果は2週間くらいらしい。
スマホの電池の減りが気になる（続）
前回からの続き。
Wi-Fi APを追加したのでiPadは操作しなければほぼ電池が減らなくなった。
そうなると気になるのが iPhone / Android スマホ勢の電池の減り。
こちらは12時間で電池切れみたいな派手な減り方はしないけど、無操作12時間を見るとじりじり電池が減っていってる。 無操作ならほぼ電池が減らない所までもっていきたい。
今日のバッテリー消費の犯人を見ると twitter アプリに見えるがここは継続調査。 とにかく無操作をつらぬいて犯人を捜さないと。
スクラムやっててもレトロスペクティブの意義とか１２週間目には忘れていることが結構あるなぁとか思ったり。
定期的にアジャイル成分を吸引しないといけないらしい。
カイゼン・ジャーニーは補充するのに良い本かもしれん。
Top Gun Maverick を amazon prime video で購入
つか Amazon prime video のレンタル期間が48時間とか短すぎるｗ せめて7日間は欲しいところ。 結局買ってしまったじゃないか。
日本語吹き替えは森川智之さんと宮野真守さん。
iPhone / iPad 向け Stable Diffusion アプリ Draw Things があるらしい
tag: stable-diffusion, draw-things
画像１枚生成に70秒らしい。 ウチのCPUより速いｗｗ
モデルデータが1.6GBにスリム化されていたりfp16を使っていたりいろいろ工夫がある様子。
今日明日は東京にも寒波が来るらしい
Windy(ECMWF)で見ると 火曜日の夜あたりから気温がマイナスに転じる予想。
ウェザーニュースの気温予測だと火曜日の夜あたりから気温がマイナスに転じる予想。
当日になってだいぶマイルドな予想になってきた。
Windows 11 Pro + Radeon RX 6600XT 環境で anything-v3-better-vaeモデルをonnxで使用してみた。
tag: stable-diffusion, anything-v3-better-vae, diffusers, AIイラスト
onnx環境だとconvert_stable_diffusion_checkpoint_to_onnx.py一発でVAEがちゃんと効いて派手な絵が出るのはanything-v3-better-vaeモデルだったので紹介。
取得の操作はanything-v3とほぼ同じ。
# 変換スクリプト取得 https://github.com/huggingface/diffusers/
Invoke-WebRequest -Uri https://raw.githubusercontent.com/huggingface/diffusers/main/scripts/convert_original_stable_diffusion_to_diffusers.py -Outfile convert_original_stable_diffusion_to_diffusers.py
Invoke-WebRequest -Uri https://raw.githubusercontent.com/huggingface/diffusers/main/scripts/convert_stable_diffusion_checkpoint_to_onnx.py -Outfile convert_stable_diffusion_checkpoint_to_onnx.py
# Huggingface にログイン
huggingface-cli.exe login
# anything-v3-vetter-vae モデルを取得 https://huggingface.co/Linaqruf/anything-v3-better-vae
python convert_stable_diffusion_checkpoint_to_onnx.py --model_path="Linaqruf/anything-v3-better-vae" --output_path="./models/anything-v3-better-vae_onnx"
メインプログラムは以下。
from diffusers import OnnxStableDiffusionPipeline
height=512
width=512
num_inference_steps=50
guidance_scale=7.5
prompt = "a photo of an astronaut riding a horse on mars"
negative_prompt="bad hands, blurry"
pipe = OnnxStableDiffusionPipeline.from_pretrained("./models/anything-v3-better-vae_onnx", provider="DmlExecutionProvider", safety_checker=None)
image = pipe(prompt, height, width, num_inference_steps, guidance_scale, negative_prompt).images[0]
image.save("astronaut_rides_horse.png")
モデルを作ってくれる人がdiffusersかonnx向けのファイル形式で公開してくれていないといろいろキビシイ。
モデル本体ファイルもそうなんだけど、VAEのファイルも重要。絵の色彩がだいぶ異なる。
VAE入れ替え効果と、pt形式のVAEファイルをdiffusers形式に変換する方法は以下のサイトにある。
iPad Pro 10.5 (2017) Wi-Fi 不調その後。APを追加購入して強制的に解決
tag: ipad, wifi, aterm-wx5400hp
Wi-Fi を ON にしていると、無限リトライして iPad の電池が 12時間ほどでなくなる事態は断続的に発生。
結局 Wi-Fi を OFF にする感じで逃げる。
一応、Windows 10 PC を Wi-Fi アクセスポイントにする方法(モバイル ホットスポット)への接続設定も試してみたんだけど、iPad サスペンド後はWi-Fi接続がダメになる傾向は変わらず。
うーん。このマシンはそろそろ退役ですかな。
p.s. 1/22
Aterm WX5400HP の Wi-Fi基本設定から「メッシュWi-Fi」を「OFF」に設定。
メッシュWi-Fi機能については以下を参照。 自動で最適なルートを構築してくれるモノらしい。2.4GHz / 5GHz も混ぜて一つの SSID になる点が一番目立つ違いかな。
しばらく様子を見る。
p.p.s. 1/24
やっぱダメだった。。iPad Pro 10.5 (2017) の電池爆減してた。
p.p.p.s. 1/26
メッシュWi-Fiをoffにして、2.4GHzのSSIDを5GHzとは別の単独のものにする。 そのうえで iPad Pro 10.5 (2017)を 2.4GHz に接続するようにすると、電池の激減は無くなった。
今度は iPhone 8 Plus (2017) の電池が減るようになったんだがｗ これって要するにWi-FiのAP取り合って負けた端末の電池が激減しているだけなんじゃ...。
p.p.p.p.s. 1/28
ついに最終奥義パワープレイを発動。 Aterm WX5400HPをもう１台購入して有線接続。メッシュWi-Fiの子機APとすることでAPの取り合いを軽減させる。
特に指定はしていないのだが追加購入したAterm WX5400HPの方に自分のiPhone/iPad/Android一族が接続しに行くの面白いな。 距離の検出とかしてるのかな？ 親機と数メートルしか違わない気がするが。
というか以前の親機APとの通信経路が良くないのか。 5GHzは特に直線で見通しが可能でないとダメやね。
p.p.p.p.p.s. 2/1
数日経過してもWi-Fiのつかみは順調。 iPad/iPhoneの電池の異常な減りも無い。 一応解決。
pytorchのnightly版 (去年の12/25-12/30) にセキュリティ侵害があったらしい (torchtriton)
tag: pytorch
とのこと。pytorch nightly版は使っていないので今回はセーフ。
stable diffusion は pytorch を使用しているのでちょっと危なかったかな？