某項目局點(diǎn)C盤空間大量被使用，目錄為MSSQL\log目錄。如何清理。
無
多次執(zhí)行
EXEC sp_cycle_errorlog
GO
清除日志。建議六次以上。
建議修改Sql日志轉(zhuǎn)存。
打開 Sql Server 配置管理器 --> Sql Server 服務(wù) --> Sql Server (MSSQLSERVER) --> 屬性 --> 高級
修改“轉(zhuǎn)儲目錄”，將文件夾修改為新的路徑
修改“啟動參數(shù)”，將-e后的文件夾修改為新的路徑
然后從新啟動 Sql Server (MSSQLSERVER) ，再次執(zhí)行方法一得指令，發(fā)現(xiàn) ERRORLOG 文件就在新的文件夾內(nèi)產(chǎn)生了
某大數(shù)據(jù)項目需遷移Mysql數(shù)據(jù)庫。涉及3xxG數(shù)據(jù)，采用mysqldump+source導(dǎo)入太慢。如何縮短停機(jī)時間。
無
1、按表導(dǎo)出文件
mysqldump -uroot -p'xxx' beta beta_file_msg_logs_2023_12 > /backup/db-mir/beta_file_msg_logs_2023_12.sql &
mysqldump -uroot -p'xxx' beta beta_obs_file_scan_hunter_2023_12 > /backup/db-mir/beta_obs_file_scan_hunter_2023_12.sql &
mysqldump -uroot -xxx' beta beta_obs_file_scan_zlg_2023_12 > /backup/db-mir/beta_obs_file_scan_zlg_2023_12.sql &
2、多進(jìn)程導(dǎo)入文件
mysql -h 127.0.0.1 -P 6446 -uroot -p'xxx' beta < /backup/db-mir/beta_file_msg_logs_2023_12.sql &
mysql -h 127.0.0.1 -P 6446 -uroot -p'xxx' beta < /backup/db-mir/beta_obs_file_scan_hunter_2023_12.sql &
mysql -h 127.0.0.1 -P 6446 -uroot -p'xxx' beta < /backup/db-mir/beta_obs_file_scan_zlg_2023_12.sql &
該方法不依賴三方組件，多并發(fā)處理可以提高速度。
無
客戶存算分離，將Hive數(shù)據(jù)從本地HDFS遷移到EMC A300 HDFS存儲。
無
1、前期預(yù)遷移hdfs文件：hadoop distcp -pugpt -update -skipcrccheck -m 24 /user/hive hdfs://A300.corem.local:8020/user/hive
2、停止hive服務(wù)，增量遷移hadoop distcp -pugpt -update -skipcrccheck -m 24 /user/hive hdfs://A300.corem.local:8020/user/hive
3、Mysql導(dǎo)出元數(shù)據(jù)表：mysqldump -hlocalhost -uhive -p --databases hive > hive_bk.sql
4、替換hive_bk.sql文件中間的路徑關(guān)鍵字：sed -i 's/master-1/A300.corem.local/g' hive_bk.sql
5、在Mysql里成導(dǎo)入hive_bk.sql：
mysql -hlocalhost -uhive –p
mysql> source hive_bk.sql
6、啟動hive服務(wù)，檢查狀態(tài)，通過show database,select等檢查表狀態(tài)。
1.HDFS文件部分，需多次同步更新，最終停止業(yè)務(wù)后再同步一次即可。
2.元數(shù)據(jù)表里保存了表的保存路徑。需替換相應(yīng)數(shù)據(jù)。確保更新后路徑一致。
存算分離，將hbase遷移到EMC A300。遷移后啟動Hbase Master，一直提示無法RIT
hbase:meta,,1.1588230740 state=OFFLINE
無
Hbase中有配置文件。（只有HBase2.x版本需要修改）搜索hbase.wal.provider參數(shù)，如果不存在這個字段，需要添加該參數(shù)到“hbase-site.xml 的 Hbase 服務(wù)高級配置代碼段（安全閥）”，參數(shù)值為單個 HDFS WAL
然后再重啟。原因是wal在新、舊HDFS搜索。文件沖突導(dǎo)致
無
INFO 2023-07-17 17:42:17,138 hst-agent.py:400 - Registering HST Agent
INFO 2023-07-17 17:42:17,145 hst-agent.py:401 - HST Version : 1.5.1.2.7.5.0-72
INFO 2023-07-17 17:42:17,146 hst-agent.py:402 - Python Version: 2.7.5
INFO 2023-07-17 17:42:17,146 hst-agent.py:403 - Open SSL Version: OpenSSL 1.0.2k-fips 26 Jan 2017
ERROR 2023-07-17 17:42:17,282 security.py:74 - Two-way SSL authentication failed. [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:618)
ERROR 2023-07-17 17:42:17,554 security.py:74 - Two-way SSL authentication failed. [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:618)
ERROR 2023-07-17 17:42:20,692 security.py:74 - Two-way SSL authentication failed. [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:618)
ERROR 2023-07-17 17:42:30,525 security.py:74 - Two-way SSL authentication failed. [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:618)
ERROR 2023-07-17 17:42:59,282 security.py:74 - Two-way SSL authentication failed. [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:618)
無
對hst服務(wù)進(jìn)行重置
hst reset //服務(wù)器端
hst reset-agent //客戶端
hst setup-agent -q //客戶端
無
hdp 3默認(rèn)采用tez引擎，根據(jù)業(yè)務(wù)需求，需臨時更換為spark引擎。
采用
set hive.execution.engine=spark;
set spark.executor.instances=40；
報錯如下
Error while processing statement:Canot modly spark.executor.instances at runtime, t is not in list of params that are alowed to be modifed at runtime
無
hive 3開始，默認(rèn)進(jìn)行安全授權(quán)，防止運(yùn)行時修改參數(shù)。把hive配置中hive.security.authorization.enabled關(guān)閉后再行測試即可。
無
bigtop repo位于國外，大數(shù)據(jù)節(jié)點(diǎn)不具備外網(wǎng)訪問權(quán)限，如何建立本地repo供安裝。
無
1.安裝centos7或其它版本。
2.安裝以下組件:yum install -y wget tar zip unzip yum-utils createrepo httpd
3.下載bigtop repo
cd /ye/etc/yum.repos.d/
wget https://dlcdn.apache.org/bigtop/bigtop-3.2.0/repos/rockylinux-8/bigto
op.repo4.reposync同步到本地
reposync --gpgcheck -1 --repoid=bigtop --download_path=/var/www/html5.創(chuàng)建repo
cd /var/www/html/bigtop
createrepo .
6.生成repo文件
cat << EOF > /var/www/html/bigtop/bigtop.repo
[bigtop]
name=bigtop
baseurl=http://master-1/bigtop
enabled=1
gpgcheck=0
EOF
7.在其它節(jié)點(diǎn)下載
wget -P /etc/yum.repos.d/ http://master-1/bigtop/bigtop.repo無
無
無
hdp 3.1.5默認(rèn)集成kafka2，客戶需要安裝kafka3
安裝如下：
cd /opt
wget http://vpn.coremtech.com:20080/kafka3/kafka_2.12-3.0.0.tgz
wget http://vpn.coremtech.com:20080/kafka3/server.properties
wget http://vpn.coremtech.com:20080/kafka3/start.txt
tar zxvf kafka_2.12-3.0.0.tgz
cp server.properties kafka_2.12-3.0.0/config/
vi kafka_2.12-3.0.0/config/server.properties
# change id
mkdir /data-a/kafka3-logs
/opt/kafka_2.12-3.0.0/bin/kafka-server-start.sh -daemon /opt/kafka_2.12-3.0.0/config/server.properties
一個zk環(huán)境，支持兩個不同kafka版本，僅需要zk連接器后加新的命名即可。例如master:2181/kafka3
安裝flume組件
無
cd /opt
wget http://vpn.coremtech.com:20080/apache-flume-1.11.0-bin.tar.gz
tar zxvf apache-flume-1.11.0-bin.tar.gz
mv ./apache-flume-1.11.0-bin ./flume
echo "export FLUME_HOME=/opt/flume" >> /etc/profile
echo "export PATH=\$PATH:\$FLUME_HOME/bin" >> /etc/profile
source /etc/profile
cd /opt/flume/conf
cp flume-env.sh.template flume-env.sh
"change java_home
flume-ng agent --conf /opt/flume/conf/
無
客戶安裝flume執(zhí)行flume-ng verion提示org.apache.hadoop.hbase.util.GetJavaProperty。hbase version也提示該錯誤。
hbase bug，詳見：https://reviews.apache.org/r/69299/diff/2/?expand=1
進(jìn)入hbase/bin目錄
cp hbase.distro hbase.distro-bak //先備份原有文件
vi hbase.distro
切到182行，在add_to_cp_if_exists “${HBASE_HOME}/hbase-server/target” 這里下面加上兩行
# Needed for GetJavaProperty check below
add_to_cp_if_exists "${HBASE_HOME}/hbase-server/target/classes"
把下面大概186，187行的
#add the hbase jars for each module
for f in $HBASE_HOME/hbase-jars/hbase*.jar; do
if [[ $f = *sources.jar ]]
then
: # Skip sources.jar
elif [ -f $f ]
then
CLASSPATH=${CLASSPATH}:$f;
fi
done
這部分注釋掉
切到大概310行左右，在
if [ -n "${HADOOP_IN_PATH}" ] && [ -f "${HADOOP_IN_PATH}" ]; then
下面加上一段：
# If built hbase, temporarily add hbase-server*.jar to classpath for GetJavaProperty
# Exclude hbase-server*-tests.jar
temporary_cp=
for f in "${HBASE_HOME}"/lib/hbase-server*.jar; do
if [[ ! "${f}" =~ ^.*\-tests\.jar$ ]]; then
temporary_cp=":$f"
fi
done
然后把
HADOOP_JAVA_LIBRARY_PATH=$(HADOOP_CLASSPATH="$CLASSPATH" "${HADOOP_IN_PATH}" \
改成
HADOOP_JAVA_LIBRARY_PATH=$(HADOOP_CLASSPATH="$CLASSPATH${temporary_cp}" "${HADOOP_IN_PATH}" \
即可。
詳見附件文件
無