程序只针对newstext字段处理。
//说明:需要现在帝国后台模型设置的地方,在表设置一个newstext1字段,等数据导入成功之后,再将原newstext字段删除,并将newstext1字段修改为newstext。 //400条数据,大概也就一秒钟左右;
将下边代码新建一个index.php,放入根目录运行
<?php
error_reporting(E_ERROR | E_WARNING | E_PARSE);
@set_time_limit(1000000);//设置超时时间,越长越好
//********************* 程序开始 ********************
//说明:需要现在帝国后台模型设置的地方,在附表设置一个newstext1字段,等数据导入成功之后,再将原newstext字段删除,并将newstext1字段修改为newstext。
//400条数据,大概也就一秒钟左右;
$kai = $_POST['kai'];
function ReadFiletext($filepath){
$filepath=trim($filepath);
$htmlfp=@fopen($filepath,"r");
$string=@fread($htmlfp,@filesize($filepath));
@fclose($htmlfp);
return $string;
}
function GetTxtFieldText($pagetexturl){
$text=ReadFiletext($pagetexturl);
$text=substr($text,12);//去除exit
return $text;
}
//配置数据库参数
mysql_connect("localhost","sql_ecms","LkYNmdTFpX4ZSFCS");//本机数据库用户名和密码
mysql_select_db("sql_ecms");//本机数据库名,
mysql_query("set names 'utf8'");
//数据表第一条信息的ID
$a=mysql_query("select id from phome_ecms_cidian order by id asc limit 1");
$num1= mysql_result($a,0);
//数据表最后一条信息的ID
$b=mysql_query("select id from phome_ecms_cidian order by id desc limit 1");
$num2= mysql_result($b,0);
if ($kai==1){
//循环逐条处理
for($i=$num1;$i<$num2;$i++){
$sql="select newstext from phome_ecms_cidian where id=".$i;
if($result=mysql_query($sql)){
$r=mysql_fetch_object($result);
$text=$r->newstext;
//判断是否是存文本的信息
if (strlen($text)==42 && preg_match("/^[0-9a-z\d\/]*$/i",$text)){
$pagetexturl="d/txt/".$text.".php";//因为帝国存文本中有exit中断,所以需要用读文件的方法去读取代码,文本的路径要正确,存在本文件所以目录下的子目录"d/txt/"下
$text=GetTxtFieldText($pagetexturl);
//过滤帝国存文本生成的exit中断代码,使用文本中的内容替换数据库中相应的数据值
$wurl="update phome_ecms_cidian set newstext1='".$text."' where id=".$i;
$write=mysql_db_query("sql_ecms",$wurl);
}
}
}
echo "OK,搞定!";
}
?>
<form method="post" action="index.php">
<input type=submit name=ok value="从<?=$num1?>开始处理,到<?=$num2?>结束.点击开始处理">
<input type=hidden name="kai" value=1>
</form>
由于数据较多,比如上百万数据,一次处理不完容易504超时,那么咱们就再优化一下代码,改为分批次处理
<?php
error_reporting(E_ERROR | E_WARNING | E_PARSE);
@set_time_limit(1000000);//设置超时时间,越长越好
//********************* 程序开始 ********************
//说明:需要现在帝国后台模型设置的地方,在附表设置一个newstext1字段,等数据导入成功之后,再将原newstext字段删除,并将newstext1字段修改为newstext。
//400条数据,大概也就一秒钟左右;
function ReadFiletext($filepath){
$filepath = trim($filepath);
$htmlfp = @fopen($filepath, "r");
$string = @fread($htmlfp, @filesize($filepath));
@fclose($htmlfp);
return $string;
}
function GetTxtFieldText($pagetexturl){
$text = ReadFiletext($pagetexturl);
$text = substr($text, 12);//去除exit
return $text;
}
//配置数据库参数
$options = array(PDO::MYSQL_ATTR_INIT_COMMAND => 'SET NAMES utf8');
$dbh = new PDO('mysql:host=localhost;dbname=sql_ecms', 'sql_ecms', 'LkYNmdTFpX4ZSFCS', $options);
//数据表第一条信息的ID
$stmt = $dbh->prepare("SELECT id FROM phome_ecms_cidian ORDER BY id ASC LIMIT 1");
$stmt->execute();
$num1 = $stmt->fetchColumn();
//数据表最后一条信息的ID
$stmt = $dbh->prepare("SELECT id FROM phome_ecms_cidian ORDER BY id DESC LIMIT 1");
$stmt->execute();
$num2 = $stmt->fetchColumn();
if (isset($_POST['start'])) {
$start = $_POST['start'];
$end = $start + 29999;
if ($end > $num2) {
$end = $num2;
}
//循环逐批处理
for ($i = $start; $i <= $end; $i++) {
$stmt = $dbh->prepare("SELECT newstext FROM phome_ecms_cidian WHERE id = :id");
$stmt->bindParam(':id', $i, PDO::PARAM_INT);
$stmt->execute();
$text = $stmt->fetchColumn();
//判断是否是存文本的信息
if (strlen($text) == 42 && preg_match("/^[0-9a-z\d\/]*$/i", $text)) {
$pagetexturl = "d/txt/" . $text . ".php";//因为帝国存文本中有exit中断,所以需要用读文件的方法去读取代码,文本的路径要正确,存在本文件所以目录下的子目录"d/txt/"下
$text = GetTxtFieldText($pagetexturl);
//过滤帝国存文本生成的exit中断代码,使用文本中的内容替换数据库中相应的数据值
$stmt = $dbh->prepare("UPDATE phome_ecms_cidian SET newstext1 = :text WHERE id = :id");
$stmt->bindParam(':text', $text, PDO::PARAM_STR);
$stmt->bindParam(':id', $i, PDO::PARAM_INT);
$stmt->execute();
}
}
if ($end == $num2) {
echo "OK,搞定!";
} else {
echo "已处理完 $end 条数据,继续处理下一批数据";
echo "<form method='post' action='index.php'>";
echo "<input type='hidden' name='start' value='$end'>";
echo "<input type='submit' name='submit' value='继续处理'>";
echo "</form>";
}
} else {
echo "<form method='post' action='index.php'>";
echo "<input type='hidden' name='start' value='$num1'>";
echo "<input type='submit' name='submit' value='从 $num1 开始处理'>";
echo "</form>";
}
说明:这个代码首先会输出一个表单,点击“从 $num1 开始处理”按钮,就会开始处理数据。每次处理 30000 条数据,处理完一批数据后,会输出一个表单,点击“继续处理”按钮,就会继续处理下一批数据,直到处理完所有数据。注意,你需要根据实际情况修改数据库连接参数和 SQL 语句。
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
评论(0)