Removed old LHS code from driver (the website already supports running LHS)
This commit is contained in:
dvanaken
Dana Van Aken
parent
fcec765a7c
commit
159e26e1c7
|
|
@ -1,83 +0,0 @@
|
||||||
[
|
|
||||||
{
|
|
||||||
"name": "SHARED_POOL_SIZE",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": "500MB",
|
|
||||||
"maxval": "2500MB"
|
|
||||||
},
|
|
||||||
"default": "1500MB",
|
|
||||||
"type": "bytes"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"name": "DB_CACHE_SIZE",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": "10GB",
|
|
||||||
"maxval": "24GB"
|
|
||||||
},
|
|
||||||
"default": "14GB",
|
|
||||||
"type": "bytes"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"name": "LOG_BUFFER",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": "10MB",
|
|
||||||
"maxval": "1000MB"
|
|
||||||
},
|
|
||||||
"default": "20MB",
|
|
||||||
"type": "bytes"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"name": "LARGE_POOL_SIZE",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": "10MB",
|
|
||||||
"maxval": "1000MB"
|
|
||||||
},
|
|
||||||
"default": "100MB",
|
|
||||||
"type": "bytes"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"name": "STREAMS_POOL_SIZE",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": "10MB",
|
|
||||||
"maxval": "1000MB"
|
|
||||||
},
|
|
||||||
"default": "100MB",
|
|
||||||
"type": "bytes"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"name": "bitmap_merge_area_size",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": "1000000",
|
|
||||||
"maxval": "20000000"
|
|
||||||
},
|
|
||||||
"default": "1MB",
|
|
||||||
"type": "integer"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"name": "create_bitmap_area_size",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": "1000000",
|
|
||||||
"maxval": "100000000"
|
|
||||||
},
|
|
||||||
"default": "8MB",
|
|
||||||
"type": "integer"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"name": "hash_area_size",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": "65536",
|
|
||||||
"maxval": "1000000"
|
|
||||||
},
|
|
||||||
"default": "65536",
|
|
||||||
"type": "integer"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"name": "sort_area_size",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": "128000",
|
|
||||||
"maxval": "2000000"
|
|
||||||
},
|
|
||||||
"default": "128000",
|
|
||||||
"type": "integer"
|
|
||||||
}
|
|
||||||
]
|
|
||||||
|
|
@ -1,110 +0,0 @@
|
||||||
[
|
|
||||||
{
|
|
||||||
"name": "effective_cache_size",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": "4GB",
|
|
||||||
"maxval": "16GB"
|
|
||||||
},
|
|
||||||
"default": "4GB",
|
|
||||||
"type": "bytes"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"name": "shared_buffers",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": "128MB",
|
|
||||||
"maxval": "12GB"
|
|
||||||
},
|
|
||||||
"default": "128MB",
|
|
||||||
"type": "bytes"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"name": "max_parallel_workers_per_gather",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": 0,
|
|
||||||
"maxval": 8
|
|
||||||
},
|
|
||||||
"default": 0,
|
|
||||||
"type": "integer"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"name": "default_statistics_target",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": 100,
|
|
||||||
"maxval": 2048
|
|
||||||
},
|
|
||||||
"default": 100,
|
|
||||||
"type": "integer"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"name": "bgwriter_lru_maxpages",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": 0,
|
|
||||||
"maxval": 1000
|
|
||||||
},
|
|
||||||
"default": 10,
|
|
||||||
"type": "integer"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"name": "checkpoint_timeout",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": "10ms",
|
|
||||||
"maxval": "1min"
|
|
||||||
},
|
|
||||||
"default": "200ms",
|
|
||||||
"type": "time"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"name": "random_page_cost",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": 1,
|
|
||||||
"maxval": 10
|
|
||||||
},
|
|
||||||
"default": 4.0,
|
|
||||||
"type": "float"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"name": "checkpoint_completion_target",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": 0.1,
|
|
||||||
"maxval": 0.9
|
|
||||||
},
|
|
||||||
"default": 0.5,
|
|
||||||
"type": "float"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"name": "checkpoint_timeout",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": "1min",
|
|
||||||
"maxval": "30min"
|
|
||||||
},
|
|
||||||
"default": "5min",
|
|
||||||
"type": "time"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"name": "max_wal_size",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": "256MB",
|
|
||||||
"maxval": "16GB"
|
|
||||||
},
|
|
||||||
"default": "1GB",
|
|
||||||
"type": "bytes"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"name": "temp_buffers",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": "8MB",
|
|
||||||
"maxval": "1GB"
|
|
||||||
},
|
|
||||||
"default": "8MB",
|
|
||||||
"type": "bytes"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"name": "work_mem",
|
|
||||||
"tuning_range": {
|
|
||||||
"minval": "4MB",
|
|
||||||
"maxval": "1GB"
|
|
||||||
},
|
|
||||||
"default": "4MB",
|
|
||||||
"type": "bytes"
|
|
||||||
}
|
|
||||||
]
|
|
||||||
|
|
@ -1,126 +0,0 @@
|
||||||
#
|
|
||||||
# OtterTune - lhs.py
|
|
||||||
#
|
|
||||||
# Copyright (c) 2017-18, Carnegie Mellon University Database Group
|
|
||||||
#
|
|
||||||
|
|
||||||
import sys
|
|
||||||
import json
|
|
||||||
import os
|
|
||||||
import numpy as np
|
|
||||||
from pyDOE import lhs
|
|
||||||
from scipy.stats import uniform
|
|
||||||
from hurry.filesize import size
|
|
||||||
|
|
||||||
|
|
||||||
BYTES_SYSTEM = [
|
|
||||||
(1024 ** 5, 'PB'),
|
|
||||||
(1024 ** 4, 'TB'),
|
|
||||||
(1024 ** 3, 'GB'),
|
|
||||||
(1024 ** 2, 'MB'),
|
|
||||||
(1024 ** 1, 'kB'),
|
|
||||||
(1024 ** 0, 'B'),
|
|
||||||
]
|
|
||||||
|
|
||||||
TIME_SYSTEM = [
|
|
||||||
(1000 * 60 * 60 * 24, 'd'),
|
|
||||||
(1000 * 60 * 60, 'h'),
|
|
||||||
(1000 * 60, 'min'),
|
|
||||||
(1000, 's'),
|
|
||||||
(1, 'ms'),
|
|
||||||
]
|
|
||||||
|
|
||||||
|
|
||||||
def get_raw_size(value, system):
|
|
||||||
for factor, suffix in system:
|
|
||||||
if value.endswith(suffix):
|
|
||||||
if len(value) == len(suffix):
|
|
||||||
amount = 1
|
|
||||||
else:
|
|
||||||
try:
|
|
||||||
amount = int(value[:-len(suffix)])
|
|
||||||
except ValueError:
|
|
||||||
continue
|
|
||||||
return amount * factor
|
|
||||||
return None
|
|
||||||
|
|
||||||
|
|
||||||
def get_knob_raw(value, knob_type):
|
|
||||||
if knob_type == 'integer':
|
|
||||||
return int(value)
|
|
||||||
elif knob_type == 'float':
|
|
||||||
return float(value)
|
|
||||||
elif knob_type == 'bytes':
|
|
||||||
return get_raw_size(value, BYTES_SYSTEM)
|
|
||||||
elif knob_type == 'time':
|
|
||||||
return get_raw_size(value, TIME_SYSTEM)
|
|
||||||
else:
|
|
||||||
raise Exception('Knob Type does not support')
|
|
||||||
|
|
||||||
|
|
||||||
def get_knob_readable(value, knob_type):
|
|
||||||
if knob_type == 'integer':
|
|
||||||
return int(round(value))
|
|
||||||
elif knob_type == 'float':
|
|
||||||
return float(value)
|
|
||||||
elif knob_type == 'bytes':
|
|
||||||
value = int(round(value))
|
|
||||||
return size(value, system=BYTES_SYSTEM)
|
|
||||||
elif knob_type == 'time':
|
|
||||||
value = int(round(value))
|
|
||||||
return size(value, system=TIME_SYSTEM)
|
|
||||||
else:
|
|
||||||
raise Exception('Knob Type does not support')
|
|
||||||
|
|
||||||
|
|
||||||
def get_knobs_readable(values, types):
|
|
||||||
result = []
|
|
||||||
for i, value in enumerate(values):
|
|
||||||
result.append(get_knob_readable(value, types[i]))
|
|
||||||
return result
|
|
||||||
|
|
||||||
|
|
||||||
def main(args):
|
|
||||||
|
|
||||||
if (len(sys.argv) != 4):
|
|
||||||
raise Exception("Usage: python3 lhs.py [Samples Count] [Knob Path] [Save Path]")
|
|
||||||
|
|
||||||
knob_path = args[2]
|
|
||||||
save_path = args[3]
|
|
||||||
with open(knob_path, "r") as f:
|
|
||||||
tuning_knobs = json.load(f)
|
|
||||||
|
|
||||||
names = []
|
|
||||||
maxvals = []
|
|
||||||
minvals = []
|
|
||||||
types = []
|
|
||||||
|
|
||||||
for knob in tuning_knobs:
|
|
||||||
names.append(knob['name'])
|
|
||||||
maxvals.append(get_knob_raw(knob['tuning_range']['maxval'], knob['type']))
|
|
||||||
minvals.append(get_knob_raw(knob['tuning_range']['minval'], knob['type']))
|
|
||||||
types.append(knob['type'])
|
|
||||||
|
|
||||||
nsamples = int(args[1])
|
|
||||||
nfeats = len(tuning_knobs)
|
|
||||||
samples = lhs(nfeats, samples=nsamples, criterion='maximin')
|
|
||||||
maxvals = np.array(maxvals)
|
|
||||||
minvals = np.array(minvals)
|
|
||||||
scales = maxvals - minvals
|
|
||||||
for fidx in range(nfeats):
|
|
||||||
samples[:, fidx] = uniform(loc=minvals[fidx], scale=scales[fidx]).ppf(samples[:, fidx])
|
|
||||||
|
|
||||||
samples_readable = []
|
|
||||||
for sample in samples:
|
|
||||||
samples_readable.append(get_knobs_readable(sample, types))
|
|
||||||
|
|
||||||
config = {'recommendation': {}}
|
|
||||||
for sidx in range(nsamples):
|
|
||||||
for fidx in range(nfeats):
|
|
||||||
config["recommendation"][names[fidx]] = samples_readable[sidx][fidx]
|
|
||||||
with open(os.path.join(save_path, 'config_' + str(sidx)), 'w+') as f:
|
|
||||||
f.write(json.dumps(config))
|
|
||||||
|
|
||||||
|
|
||||||
if __name__ == '__main__':
|
|
||||||
main(sys.argv)
|
|
||||||
|
|
@ -1 +0,0 @@
|
||||||
sudo -b nohup fab run_lhs > lhs.log 2>&1 < /dev/null
|
|
||||||
Loading…
Reference in New Issue