هوش مصنوعی در بورس

ورود هوش مصنوعی در بورس آرزوی خیلی هاست. فکر کنید الگوریتمی داشته باشید که بتواند قیمت سهام را پیش‌بینی کند!  بهتر از این نمی‌شود نه؟ هدف از این پست، تحلیل بورس با هوش مصنوعی است. برای این کار ما از یادگیری عمیق و شبکه‌ای مبتنی بر LSTM استتفاده کرده‌ایم. در این پست نحوه پیش پردازش داده‌های بورسی، تعریف شبکه و آموزش آن را فراخواهید گرفت. پس با هوسم همراه باشید …

نحوه دریافت اطلاعات بورس

قطعا برای پیش‌بینی قیمت سهام با یادگیری عمیق نیاز به داده داریم. هوش مصنوعی در بورس بدون داده مگر می‌شود؟! یکی از راه‌های دسترسی به داده‌های بورسی، وبسایت ALPHA VANTAGE است. این وبسایت امکان دسترسی به اطلاعات بازار سهام NASDAQ را فراهم کرده است. بازار سهام NASDAQ بزرگترین بازار سهام الکترونیک در جهان است که در قلب آمریکا قرار دارد. با استفاده از سایت ALPHA VANTAGE می‌توان به قیمت روزانه سهام NASDAQ در 20 سال گذشته دسترسی داشت.

یکی از ویژگی‌های مثبت و مفید ALPHA VANTAGE این است که یک python wrapper برای آن وجود دارد. یعنی شما می‌توانید پکیج ALPHA VANTAGE را در پایتون نصب کنید. سپس با استفاده از آن پکیج، داده‌های موردنظرتان را دانلود کنید. در بخش بعدی ما نحوه نصب پکیج ALPHA VANTAGE در پایتون را آموزش خواهیم داد.

نحوه نصب ALPHA VANTAGE در پایتون

گفتیم برای استفاده از هوش مصنوعی در بورس به داده نیاز داریم. و یکی از راه‌های دریافت داده های بورسی سایت ALPHA VANTAGE است. یکی از راه‌های نصب پکیج ALPHA VANTAGE ، استفاده از pip install است. اگر روش‌های دیگر را ترجیح می‌دهید این لینک را باز کنید. برای نصب ALPHA VANTAGE با pip ابتدا پوشه‌ای که پایتون در آن نصب است را باز کرده و سپس در باکس directory عبارت cmd را تایپ کنید. پس از اینکه command prompt باز شد عبارت زیر را تایپ کنید:

pip install alpha_vantage

پس از اجرا کردن کد بالا، ALPHA VANTAGE نصب خواهد شد و می‌توان در پایتون از امکانات آن استفاده کرد.

در بخش بعدی نحوه خوانده داده ها با کتابخانه alpha_vantage را خواهیم گفت.

خواندن داده‌ها از سایت ALPHA VANTAGE

در این بخش از پست « هوش مصنوعی در بورس » می‌خواهیم یک تابع برای خواندن داده‌های بورسی از alpha_vantage بنویسیم. ورودی این تابع، کد API و نام سهام است. اما کد API را از کجا بیاوریم. وارد سایت ALPHA VANTAGE شوید. پس از ورود به سایت، گزینه GET YOUR FREE API KEY TODAY را انتخاب کنید.

سپس صفحه جدیدی باز می‌شود. در صفحه جدید ابتدا باید مشخص کنید که شما که هستید. من در این بخش student را انتخاب کردم. در بخش بعدی اسم شرکت، دانشگاه و … را وارد کنید. در بخش سوم ایمیل خود را وارد کرده و در نهایت تیک من روبات نیستم را بزنید. سپس روی GET FREE API KEY کلیک کنید. پس از این کار کد API برای ما صادر خواهد شد:

خب این از کد API، حالا برویم سراغ نوع خروجی. ما می‌توانیم داده‌ها را با سه فرمت json، pandas و csv دریافت کنیم. به صورت زیر می‌توانیم این کار را انجام دهیم:

ts = TimeSeries(key='YOUR_API_KEY') #JSON

ts = TimeSeries(key='YOUR_API_KEY',output_format='pandas') #pandas

ts = TimeSeries(key='YOUR_API_KEY',output_format='csv') #CSV

• نوشتن تابع برای دریافت داده های بورسی

حالا کد API را داریم. می‌خواهیم فرمت خروجی pandas باشد. همچنین می‌خواهیم سهام شرکت مایکروسافت را بررسی کنیم. برای خواندن داده‌های مربوط به سهام مایکروسافت، یک تابع به نام get_data می‌نویسیم. ورودی این تابه کد API  و نام سهام هستند. در تابع get_data، ابتدا ماژول TimeSeries را از کتابخانه alpha_vantage فراخوانی می‌کنیم. سپس با استفاده از TimeSeries ، کد API و نوع خروجی را مشخص می‌کنیم. برای دریافت اطلاعات روزانه از دستور get_daily استفاده می‌کنیم. ورودی این دستور نام سهام موردنظرمان است. نشان شرکت مایکروسافت در بازار سهام، MSFT است. بنابراین تابع مورد نظرمان به شکل زیر تعریف می‌شود:

def get_data(your_api_key, stock_name):
    from alpha_vantage.timeseries import TimeSeries
    ts = TimeSeries(key=your_api_key, output_format='pandas')
    data, meta_data = ts.get_daily(stock_name, outputsize='full')
    return data

حالا می‌توانیم داده‌های شرکت مایکروسافت را با استفاده از تابعی که نوشتیم دریافت کنیم. پس از دریافت داده‌ها آن‌ها را نمایش می‌دهیم.

data = get_data('*************', 'MSFT')
print(data)

به جای ستاره کد API که گرفتید را وارد کنید. با اجرای کد بالا خواهیم داشت:

مشاهده می‌کنید که داده‌ها از سال 2000 تا سال 2020 وجود دارند. در هر تاریخ 5 مولفه وجود دارد. این مولفه‌ها عبارتند از قیمت سهام هنگام باز شدن بازار، بیشترین قیمت سهام، کم‌ترین قیمت سهام، قیمت سهام هنگام بسته شدن بازار و حجم معادلات. ما تصمیم داریم که از این 5 مولفه استفاده کنیم و قیمت سهام هنگام باز شدن بازار را تخمین بزنیم. اما قبل از تعریف مدل، نیاز داریم که داده‌ها را پیش‌پردازش کنیم. همچنین باید تعدادی از داده‌ها را برای ارزیابی و اعتبارسنجی جدا کنیم. پس برویم سراغ بخش بعدی، یعنی پیش پردازش داده های بورسی…

پیش پردازش داده های بورسی با پایتون، نامپای و پانداز

در بخش قبل از پست « هوش مصنوعی در بورس » دیدیم که داده‌ها چه ساختاری داشتند. در این بخش می‌خواهیم داده‌ها را برای ورود به شبکه آماده کنیم. اولین کاری که باید انجام بدهیم، حذف سربرگ‌ها و تاریخ‌ها است. مدل یا شبکه به سربرگ‌ها و تاریخ نیازی ندارد. فقط عدد می‌خواهد! برای این کار به سادگی داده‌ها را ابتدا به دیتافریم تبدیل کرده و سپس آن‌ها را به numpy تبدیل می‌کنیم تا کار با آن راحت‌تر باشد:

import numpy as np
df = pd.DataFrame(data)
data_np = df.to_numpy()

• تقسیم داده‌ها برای آموزش، اعتبارسنجی و ارزیابی

خب حالا باید داده‌های آموزش و تست را از هم جدا کنیم. 80 درصد از داده‌ها را به آموزش، 10 درصد به اعتبارسنجی و 10 درصد باقیمانده را به تست اختصاص می‌دهیم:

n1 = int(data_np.shape[0] * 0.8)
n2 = int((data_np.shape[0] - n1)/2)
x_train = data_np[:n1]
x_val = data_np[n1: n1 + n2]
x_test = data_np[n1 + n2:]

• استانداردسازی داده‌ها با Scikit-learn

با نگاهی به داده‌ها متوجه خواهیم شد که داده‌ها به استانداردسازی نیاز دارند. استاندارد‌سازی یعنی رنج مقادیر برای همه ویژگی‌ها یکسان شود. برای استانداردسازی روش‌های مختلفی وجود دارد. یکی از این روش‌ها استفاده از مینیمم و ماکزیمم مقدار داده است.

برای داده‌های ما رنج قیمت‌ها و حجم معاملات بسیار متفاوت هستند. بنابراین باید داده‌ها استاندارد شوند. ما استانداردسازی را با استفاده از کمترین و بیشترین مقدار داده‌ها انجام خواهیم داد. برای این کار از کتابخانه scikit-learn و ماژول preprocessing استفاده می‌کنیم. به این منظور، ابتدا با استفاده از دستور preprocessing.MinMaxScaler().fit، مینیمم و ماکزیمم داده‌های آموزش را بدست می‌آوریم. سپس داده‌های تست و آموزش را با کمک Min و Max داده‌های آموزش، استاندارد می‌کنیم.

from sklearn import preprocessing

minmax_scale = preprocessing.MinMaxScaler().fit(x_train)
x_train_n = minmax_scale.transform(x_train)
x_val_n = minmax_scale.transform(x_val)
x_test_n = minmax_scale.transform(x_test)

دقت کنید که ما به هیچ عنوان نمی‌توانیم داده‌‌های اعتبارسنجی و تست را با Min و Max خودشان استاندارد کنیم. اگر این کار را بکنیم درواقع به شبکه تقلب رسانده‌ایم. بنابراین همه داده‌ها را با Min و Max داده‌های آموزش، استاندارد می‌کنیم.

گفتیم که ما می‌خواهیم قیمت سهام در هنگام باز شدن بازار را تخمین بزنیم. ما در این پروژه داده‌های مربوط به 50 روز را به شبکه می‌دهیم و می‌خواهیم مقدار قیمت opening سهام را در روز بعد تخمین بزند. به همین دلیل ابتدا داده‌ها را 50 تا 50 تا جدا می‌کنیم. همینجا مقدار قیمت openning را در روز 51اُم را نیز به عنوان برچسب جدا می‌کنیم. برای این کار نیز یک تابع می‌نویسیم:

def slicing_50(x, history_points):
    sliced_data = np.array([x[i  : i + history_points] for i in range(len(x) - history_points)])
    labels = np.array([x[:,0][i + history_points] for i in range(len(x) - history_points)])
    return sliced_data, labels

سپس با استفاده از تابعی که نوشتیم، داده‌های آموزش، اعتبارسنجی و تست را 50تا 50تا جدا کرده و برچسب‌هایشان را نیز جدا می‌کنیم.

history_points = 50
x_train_n, y_train = slicing_50(x_train_n, history_points)
x_val_n, y_val = slicing_50(x_val_n, history_points)
x_test_n, y_test = slicing_50(x_test_n, history_points)

خب تا اینجا ما داده‌های آموزش و تست را آماده کردیم. قدم بعدی تعریف مدل است. پس برویم سراغ تعریف مدل…

تعریف مدل LSTM با کراس

در بخش قبل از پست « هوش مصنوعی در بورس » ، داده‌ها را برای خوراندن به شبکه آماده کردیم. در این بخش می‌خواهیم شبکه را با تنسورفلو 2 و کراس تعریف کنیم. شبکه‌ای که تعریف می‌کنیم ساختار ساده‌ای دارد. این شبکه از یک لایه LSTM و دو لایه Dense تشکیل شده است. برای بهینه‌سازی از Adam optimizer و اتلاف MSE استفاده می‌کنیم. نرخ یادگیری را نیز برابر با 0.001 در نظر می‌گیریم:

import keras
import tensorflow as tf
from keras.models import Model
from keras.layers import Dense, Dropout, LSTM, Input, Activation, concatenate
from keras import optimizers
import numpy as np
np.random.seed(4)
import tensorflow
tensorflow.random.set_seed(4)

lstm_input = Input(shape=(history_points, 5), name='lstm_input')
x = LSTM(50, name='lstm_0')(lstm_input)
x = Dropout(0.2, name='lstm_dropout_0')(x)
x = Dense(64, name='dense_0')(x)
x = Activation('sigmoid', name='sigmoid_0')(x)
x = Dense(1, name='dense_1')(x)
output = Activation('linear', name='linear_output')(x)
model = Model(inputs=lstm_input, outputs=output)

adam = optimizers.Adam(lr=0.0005)

model.compile(optimizer=adam, loss='mse')

مدلی که تعریف کردیم را می‌توانیم با کد زیر رسم کنیم:

from keras.utils import plot_model
plot_model(model)

با اجرای کد بالا، لایه به لایه می‌توانیم ساختار شبکه را مشاهده کنیم:

خب حالا شبکه را با داده‌های آموزشی، آموزش می‌دهیم. برای این کار اندازه batch را برابر با 32 و تعداد تکرارها را 50 در نظر می‌گیریم. همچنین ترتیب داده‌ها را با shuffle بهم می‌ریزیم. با کمک call back، مدلی که کمترین مقدار اتلاف برای داده‌های اعتبارسنجی را دارد ذخیره کرده و از آن استفاده می‌کنیم.

from keras.callbacks import ModelCheckpoint
mcp_save = ModelCheckpoint('./stocks_price.h5', save_best_only=True, monitor='val_loss', mode='min')
history = model.fit(x=x_train_n, y=y_train, batch_size=32, epochs=50, shuffle=True, validation_data=(x_val_n, y_val), callbacks=[mcp_save])

نتیجه اجرای کد بالا به شکل زیر خواهد بود:

Train on 3975 samples, validate on 453 samples 
Epoch 1/50 3975/3975 [==============================] - 4s 964us/step - loss: 0.0082 - val_loss: 2.5905e-04 
Epoch 2/50 3975/3975 [==============================] - 3s 873us/step - loss: 5.7333e-04 - val_loss: 1.8270e-04 
Epoch 3/50 3975/3975 [==============================] - 4s 894us/step - loss: 5.0021e-04 - val_loss: 1.6947e-04
.
.
.
Epoch 48/50 3975/3975 [==============================] - 4s 903us/step - loss: 2.3852e-04 - val_loss: 7.9845e-05 
Epoch 49/50 3975/3975 [==============================] - 4s 885us/step - loss: 2.4971e-04 - val_loss: 7.0318e-05 
Epoch 50/50 3975/3975 [==============================] - 4s 884us/step - loss: 2.5215e-04 - val_loss: 9.9992e-05

تحلیل نتایج آموزش شبکه LSTM در پیش بینی بورس

خب تا اینجا شبکه را با داده‌های آموزشی که آماده کردیم، آموزش دادیم. حالا باید ببینیم که این شبکه روی داده‌های تست چه عملکردی دارد. به این منظور ابتدا مدلی که ذخیره کرده بودیم را فراخوانی می‌کنیم. سپس داده‌های تست را به مدل می‌دهیم.

model.load_weights('./stocks_price.h5')
evaluation = model.evaluate(x_test_n, y_test)
print(evaluation)

با اجرای کد بالا داریم:

454/454 [==============================] - 0s 205us/step 

0.00013240734668792684

مقدار اتلاف MSE برای پیش‌بینی که شبکه انجام داده، 0.00013 است! البته زیاد خوشحال نباشید. ما داده‌ها را scale کردیم. باید پیش‌بینی‌های شبکه را به مقدار واقعی برگردانده سپس اتلاف را محاسبه کنیم. برای این کار نیاز به برچسب (مقدار واقعی و scale نشده) داده‌های آموزش داریم. این مقادیر را جدا می‌کنیم. مقدار min و max آن را بدست می‌آوریم. سپس از این مقادیر برای برگرداندن پیش‌بینی شبکه به رنج واقعی خودش استفاده می‌کنیم:

y_train_real = np.array([x_train[:,0][i + history_points] for i in range(len(x_train) - history_points)])
scale_back = preprocessing.MinMaxScaler().fit(np.expand_dims(y_train_real, -1))

خب حالا مقادیر پیش‌بینی شده توسط شبکه را با استفاده از scale_back به رنج واقعی تغییر می‌دهیم. سپس مقدار اتلاف را برای داده‌های تست محاسبه می‌کنیم:

y_test_predicted = model.predict(x_test_n)
y_test_predicted = scale_back.inverse_transform(y_test_predicted)
y_test_real = np.array([x_test[:,0][i + history_points] for i in range(len(x_test) - history_points)])
real_mse = np.square(np.mean(y_test_real - y_test_predicted))
print(real_mse)

مقدار MSE برابر با 9.3 به‌دست می‌آید که نتیجه خوبی است. این مقداری که برای اتلاف به دست آوردیم، مقدار میانگین روی همه داده‌های تست است. شاید بخواهید ببینید برای تک‌تک داده‌ها، شبکه چطور پیش‌بینی کرده است. برای این کار کافی است نمودار مقدار واقعی و مقدار پیش‌بینی شده توسط شبکه را بکشیم:

import matplotlib.pyplot as plt
plt.gcf().set_size_inches(22, 15, forward=True)

start = 0
end = -1

real = plt.plot(y_test_real[start:end], label='real')
pred = plt.plot(y_test_predicted[start:end], label='predicted')

plt.legend(['Real', 'Predicted'])

plt.show()

با اجرای کد بالا داریم:

مشاهده می‌کنید که مقدار پیش‌بینی شده همواره تغییراتِ مقدار واقعی قیمت سهام را دنبال می‌کند. تقریبا در همه روزها، مقدار پیش‌بینی شده کم‌تر از مقدار واقعی است. شاید دلیل این مسئله، قدیمی‌تر بودن داده‌های آموزش باشند. یعنی با گذشت زمان، مقدار قیمت سهام شرکت مایکروسافت افزایش یافته است و ما داده‌های قدیمی‌تر که قیمت سهام پایین‌تر بود را به شبکه برای یادگیری داده‌ایم. از این رو شبکه مقدار قیمت را کمی کمتر از مقدار واقعی تخمین می‌زند.

تذکر این پروژه صرفا برای یادگیری نحوه کار با داده‌های بورسی ارائه شده است. پس لطفا از اتکا به این پروژه در معاملات بورسی شدیدا پرهیز کنید!!!

منبع مقاله هوش مصنوعی در بورس

پست « هوش مصنوعی در بورس » برگرفته از این مقاله است. در مقاله منبع، یک اشتباه ناشیانه در بخش پیش‌پردازش داده انجام شده بود که در این پست به طور کامل رفع شده است. 

در پست « هوش مصنوعی در بورس » ما توانستیم قیمت openning سهام مایکروسافت را با کمک شبکه LSTM پیش‌بینی کنیم. پروژه‌ای که انجام دادیم بسیار ساده است و راه برای بهبود آن زیاد است. به هر حال این پروژه برای آشنا شدن با نحوه کار با داده‌های بورسی کافی است. امیدوارم این آموزش مورد توجه شما قرار گرفته باشد. نظرات و سوالات خود را پایین 👇 برایمان کامنت کنید. حتما سوالات شما پاسخ داده خواهد شد.